После смерти князя Василия I Иван Дмитриевич, пользуясь большим влиянием при дворе, вместе с Софьей Витовтовной и митрополитом Фотием принял деятельное участие в поддержке Василия II в борьбе за великокняжеский престол с Юрием Дмитриевичем. Занимал видные позиции при дворе Василия II. После набега ордынских войск на Галич в 1428 году был одним из руководителей московского войска, посланного вдогонку за татарами. Именно тогда у Ивана Дмитриевича произошёл первый конфликт с московским боярством: в то время как он с князьями Андреем и Константином Дмитриевичами, не догнав татар, повернули назад, князья Фёдор Давыдович Стародубский и Фёдор Константинович Добрынский, не подчинившись распоряжениям командования, продолжили погоню и, догнав татарские войска, разгромили их и отбили пленных, заслужив за это большую честь.
Иван Дмитриевич вместе с Софьей Витовтовной принял участие в разработке судебной реформы, согласно которой права московского наместника были ограничены в пользу дворовых удельных князей. По мнению А. А. Зимина, реформа не была шагом назад, а была лишь обусловлена необходимостью сплотить московских удельных князей в борьбе с Юрием Дмитриевичем.
В 1432 году Иван Дмитриевич принял деятельное участие в борьбе за ярлык на великое княжение между Василием II и Юрием Дмитриевичем при дворе хана Улу-Мухаммеда. По прибытии в ставку хана Василий II получил многочисленные почести, так как пользовался покровительством знатного вельможи даруги Минбулата, в то время как князь Юрий Дмитриевич подвергся многочисленным притеснениям и унижениям. Вскоре Юрия взял под покровительство ордынский вельможа Тегиня, с которым он уехал в Крым. За время их отсутствия Иван Дмитриевич, пользуясь распрями среди ордынских вельмож, сумел убедить ордынскую знать в том, что с вокняжением Юрия усилится влияние Тегини, что, в свою очередь, грозило ордынским правителям сильными притеснениями со стороны последнего. Таким образом, благодаря деятельности Ивана Дмитриевича, спор из-за великого княжения между князьями Юрием Дмитриевичем и Василием II был решён ханом в пользу последнего.
Положение осложнилось с возвращением Юрия и Тегини в ханскую ставку. Иван Дмитриевич сумел убедить хана, что Василий стремится стать великим князем, признавая своё вассальное положение по отношению к Орде и находясь в полной покорности к воле хана. Верховную волю хана Иван Дмитриевич в своих аргументах ставил выше духовной грамоты Дмитрия Донского (в соответствии с которой великое княжение после его смерти переходило к Юрию), что сильно повлияло на решение хана, окончательно склонившегося к утверждению Василия (правда, в силу многочисленных осложнений хан был вынужден прийти к компромиссному варианту).
Иван Дмитриевич имел большие родственные связи в кругах московской аристократии. Сам боярин был женат на дочери Микулы Васильевича (Микула происходил из знатного рода тысяцких Протасьевичей). Старшая дочь Ивана Дмитриевича была замужем за князем Андреем Владимировичем Радонежским, другая дочь — за великим тверским князем Юрием Александровичем. Его внучка была замужем за Василием Юрьевичем Косым. Иван Дмитриевич в своих дальнейших планах рассчитывал выдать замуж свою младшую дочь за великого князя, однако эти планы рухнули с обручением Василия II с Марией Ярославной Боровской. Кроме того, среди московского боярства начали распространяться слухи о заговорщических планах боярина в пользу Юрия Дмитриевича. Желая избежать опалы, Всеволожский осенью 1432 года бежал в Углич к князю Константину Дмитриевичу, а затем в Тверь, после чего перебрался в Галич, где жил при дворе противника Василия II Юрия Дмитриевича. В Галиче Иван Дмитриевич, по словам летописи, начал подговаривать Юрия к борьбе с Василием II.
С именем Ивана Всеволожа связана знаменитая история о золотом поясе Дмитрия Донского. 8 февраля 1433 года в Москве состоялась свадьба Василия Васильевича с Марией Ярославной. На свадьбу прибыл князь Дмитрий Шемяка вместе с братом Василием Косым. Один из бояр (по некоторым источникам — Захарий Иванович Кошкин, по другим — Петр Константинович Добрынский) стал вопить, что на князе Василии Косом (старшем сыне Юрия Звенигородского), который вместе с младшим братом Дмитрием Шемякой присутствовал на свадьбе, он опознал тот самый драгоценный пояс, что был некогда похищен из имущества Дмитрия Донского, а затем, пройдя через несколько рук, попал к Ивану Дмитриевичу Всеволожскому. Тот, зная историю пояса, тем не менее включил его в состав приданого, которое дал своей внучке, обрученной с Василием Косым. Последний, ни о чем не подозревая, решил щегольнуть новым богатым поясом на свадьбе Василия II. Старая княгиня Софья подозвала к себе Василия Косого и собственноручно сорвала с него драгоценный пояс.
В результате Юрий Дмитриевич и его сыновья начали боевые действия против Москвы. После выступления Юрия Дмитриевича с сыновьями в поход на Москву в 1433 году Иван Всеволожский присоединился к войску Юрия. Вслед за этим боярин всячески препятствовал мирным переговорам между представителями Юрия и великого князя. Вскоре после вокняжения Юрия на московском престоле Иван Дмитриевичй начал проявлять недовольство, чувствуя себя ущемлённым и обойдённым. Недовольству Всеволожского способствовали как деятельность фаворита Юрия боярина С. Ф. Морозова, так и непоследовательность политики нового князя. Вскоре вместе с семьёй Иван Дмитриевич отъехал к Василию II в Коломну.
После выступления Юрьевичей против Василия II и разгрома московских войск Василий Васильевич, выступил в поход на Галич. Заподозренный в связях с мятежными Юрьевичами, Иван Дмитриевич был ослеплён по приказу Василия II перед походом на Галич зимой 1433—1434 года. Его имения были конфискованы.