Возглавлял делегации во время дипломатических переговоров со Швецией. В 1661 — 1666 был главой Владимирского судного приказа. В 1667 был послан воеводой в Астрахань. В 1670 руководил обороной Астрахани, осажденной отрядами Степана Разина. После падения Астрахани был убит бунтовщиками.
Во время правления царя Михаила Федоровича 13 июля 1632 года пожалован в стольники. В 1632—1634 годах участвовал в Смоленской войне, с 1642 года служил полковым воеводой Большого полка в Переяславле-Рязанском.
В 1644—1645 годах был на Вологде воеводою. В 1645—1646 годах приводил к присяге царю жителей городов Нижнего Поволжья и на Тереке. С 1646 по 1648 год — полковой воевода в Туле.После начала русско-польской войны 1654—1667 годов был одним из руководителей войска, оперировавшего в Литве, участвовал во взятии Вильны и Ковно.
21 декабря 1656 года второй русский царь Алексей Михайлович Романов пожаловал его из стольников в бояре. После Виленского перемирия участвовал в войне со шведами и был главой русских дипломатических делегаций при заключении Валиесарского перемирия в 1658 году и Кардисского мира в 1661 году.
В 1657 и 1661—1666 годах руководил Владимирским судным приказом. Принимал участие в отражении наступления короля Яна Казимира в 1664 году. В битве под Мглином совместно с князьями Яковом Черкасским и Юрием Барятинским нанес тяжелое поражение королевской армии и захватил всю артиллерию противника. В 1667 году был послан воеводой в Астрахань, где спешно укрепил город и руководил его обороной при осаде отрядами Степана Разина.
Прозоровский укрепил крепость. Обратился к духовенству с просьбой о материальной помощи и раздал стрельцам жалованье за прошедший год, чтобы они на «изменничью прелесть не сдавались». Приказал казнить разинского посланника, предложившего Прозоровскому сдать город. Выпустил из своих прудов воду на солончаковые поля, превратив Астрахань в остров, окруженный водой и солончаковыми болотами.
Во время восстания в городе при наступлении Разина Прозоровский был ранен и со своими сторонниками заперся в соборе. После взятия Астрахани Разиным тех, кто «в осаде дрались», «круг» приговорил к смерти. Прозоровский был сброшен с башни. Его малолетний сын повешен за ноги на городской стене.
Кончина Ивана Семёновича с братом от рук бунтовщиков прибавила роду Прозоровских авторитета при дворе, и шесть племянников Прозоровского в разное время стали боярами при Петре I.
С 1643 года Иван Семенович был женат на Прасковье Фёдоровне Лихачёвой, дочери думного дворянина Фёдора Фёдоровича Лихачёва (ум. 1663), владельца сельца Черемха. После взятия и разгрома Астрахани и смерти супруга, оставшись вдовою, кн. Прасковья Феодоровна скрывалась с двумя младшими сыновьями, (двумя Борисами, 16 и 8 лет) в кельях митрополита Иосифа, бывшего верным другом ее мужа. Из рук ее здесь вырвали сыновей, чтобы отвезти к Разину на поругание, и из них Борис Меньшой был казнен Разиным. С сыном кн. Борисом Большим Ивановичем, по прекращении бунта, княгиня возвратилась в Москву и умерла в январе 1687 года.Была погребена в московском Сретенском монастыре. В браке имели 3 сына и 2 дочери. Братья — князья Пётр Семёнович Большой, Михаил Семёнович, Пётр Семёнович Меньшой и Александр Семёнович Прозоровские.