Младший сын князя Василия Александровича Прозоровского и княжны Аграфены Ивановны Шуйской, родной сестры царя Василия Шуйского. Имя Семёна Васильевича упоминается в первый раз в 1607 году, во время похода его родного дяди царя Василия на Тулу и Алексин, где он назван стольником. После низложения Шуйского в 1610 году, Прозоровский воевал близ Ростова и Романова-Борисоглебска до присоединения своего к ополчению князя Пожарского.
Подпись Семёна Прозоровского стояла на грамоте об избрании на царство Михаила Романова. С 1613 года — воевода тихвинский, во главе немногочисленного гарнизона успешно оборонял город от шведов до прибытия дополнительного русского войска. За оборону Тихвина был награждён царём позолоченным кубком и собольей шубой. Позже, Прозоровский служил воеводой в других городах, а также исполнял почётные должности на приёмах иноземных послов, занимался укреплением обороны на границах, обменом пленными. В 1617 году разбил под Дорогобужем польско-литовскую армию.
В августе 1632 г. под Смоленск было отправлено войско под начальством боярина M. Б. Шеина, а в следующем, 1633 г. на помощь к нему указано быть и князю Прозоровскому.За неудачи во время Смоленской войны в 1632—1633 годах князь Прозоровский был обвинён в измене, однако его спасло заступничество царицы Евдокии, а также рассказы ратников о его мужестве под Смоленском: «по упрашению — как сказано в приговоре — царицы Евдокии Лукьяновны, царевичей и царевен, и для твоей князь Семеновой прежней службы, да и для того, что ратные люди, дворяне и дети боярские всех городов, которые были на государеве службе под Смоленском и Немецкие полковники и Немцы в расспросе сказывали, что под Смоленском служба твоя ко Государю и раденье было и с Литовским королем и с Литовскими людьми бился и государевым людем на боех своим полком помочь чинил во всем, а до большого промыслу не допустил тебя Михайло Шеин и в государеве деле не слушал тебя ни в чем».
Смертный приговор был заменен ссылкой в Нижний Новгород, однако уже через месяц Прозоровский был возвращён в Москву для исполнения ратной и посольской службы. В 1635 г. кн. Прозоровский, по царскому указу, ездил вместе с боярином кн. И. И. Шуйским встречать гроб царя В. И. Шуйского, двадцать три года пробывший в Польше. В 1635—1654 гг. он изредка обедал у царей Михаила и Алексея и у патриархов, сопровождал царей к Троице.В 1638 году был послан Разрядным приказом командующим на венёвский отрезок Засечной черты, который Прозоровский успел значительно укрепить. Служил в Московском Судном приказе в 1639 году,; в Ямском приказе в 1642—1643 и 1647—1649 годах.
В период царствования Алексея Михайловича Прозоровский оставался на высоких постах и был пожалован в бояре. Принимал активное участие в подготовке Соборного уложения. В 1654 г., мая 18-го, царь Алексей выступил в Литовский поход; большим полком предводительствовал боярин кн. Я. К. Черкасский, а товарищами при нем были: шурин его кн. Сем. Вас. Прозоровской и кн. А. Ф. Литвинов-Мосальский. Три года спустя, оба они были у царя за столом в передней палате, а после стола государь жаловал их шубами, кубками и придачами к старым их окладам за участие в вышеупомянутом походе. Состоял на царской службе до самой смерти в 1659 году. Перед смертью принял схиму под именем Сергий. Похоронен в северо западном углу паперти Успенского собора Тихвинского Богородицкого монастыря Тихвинского уезда Новгородской губернии.
Прозоровский был женат на Марии Семёновне, возможно, она была урождённая Головина или была с ними в родстве.В браке имели двух дочерей и пятерых сыновей.
Иван Семёнович (ок. 1618 — 22.06.1670) — военачальник, боярин. Погиб при обороне Астрахани от Степана Разина.
Пётр Семёнович Большой (ок. 1621 — 1669), стольник с 1637 года. В 1662 году с Иваном Афанасьевичем Желябужским направлен в Англию к Карлу Английскому. В 1665 году воевода в Смоленске.
Евдокия Семёновна (ок. 1628 — ок. 1684), была замужем за князем Яковом Куденетовичем Черкасским (ок. 1600 — 1666).
Михаил Семёнович (ок. 1632 — 22.06.1670), в 1663 году во Владимирском Судном приказе. С 1667 года вместе с братом Иваном и князем Семёном Ивановичем Львовым воевода в Астрахани. Погиб вместе с братом при обороне Астрахани от Степана Разина.
Домна Семёновна (ок. 1634 — после 1682), была в первом браке за боярином Михаилом Ивановичем Морозовым, а во втором — за окольничим Иваном Севастьяновичем Хитрово.
Пётр Семёнович Меньшой (ок. 1637 — 01.01.1691), стал продолжателем рода, получил чин боярина, воеводы, занимался дипломатией. Воевода в Тереке в 1668—1673, в Вятке в 1677, в Киеве в 1682—1683, в Тобольске в 1684—1686, в Новгороде в 1688—1690 годы.
Александр Семёнович (ок. 1642 — 25.01.1668), умер молодым, был женат на княжне Анне Семёновне Щербатовой, вышедшей в 1670 году за князя Андрея Ивановича Хованского, казнённого 17-го сентября 1682 года. Потомства не имели.