Происходил из старинной дворянской польской фамилии, принявшей русское подданство в начале XVII столетия. Отец его, бедный малороссийский помещик имел в стародубском уезде, доставшуюся ему по наследству, небольшую деревню — Красновичи. Первоначальное свое образование он получил в доме своего деда по матери, Ширяя, который взял к себе на воспитание двух старших мальчиков (П. В. был вторым), и, дав им соответствующую подготовку, поместил в иезуитскую школу в г. Орше. Здесь Завадовский основательно изучил польский и латинский язык, которыми всегда любил щеголять впоследствии и знание которых придавало ему в глазах общества ореол большой учености. Закончил свое образование Завадовский в Киевской академии, из которой посту пил на гражданскую службу и первое время был повытчиком в находившейся в Глухове Малороссийской коллегии, а потом переведен одним из лучших чиновников в канцелярию графа Румянцева-Задунайского, вступившего в управление Малороссией после гетмана Разумовского. Служба при графе Румянцеве положила начало его возвышению. Фельдмаршал весьма скоро заметил его способности, приблизил его к себе и стал поручать довольно значительные дела, а во время турецкой войны взял в действующую армию и назначил его управляющим секретной канцелярией.
Участник русско-турецкой войны 1768-1774, отличился в битвах при Ларге и Кагуле, один из авторов (вместе с С.Р. Воронцовым) текста Кючук-Кайнарджийского мирного договора 1774. В 1775 сопровождал Румянцева в Санкт-Петербург, где сделался известен Екатерине II и на два года стал ее фаворитом. В то время, как он, находясь в опьянении счастья, предавался беззаботной, беспечной жизни, не дремал Потемкин. Не легко ему было переносить охлаждение Императрицы, и он испробовал много средств, чтобы удалить от нее своего соперника и снова завоевать ее симпатии, — но все они сказались бесплодными. Ему оставалось только найти лицо, которое могло бы заменить Завадвского — и план его окончательно приведен в исполнение.
Ему подвернулся красивый серб Зорич, и его-то представил он Императрице. Эффект получился полный, т. е. такой, какого не ожидал даже и сам Потемкин: Зорич принят был ко двору, а Завадовскому предложен шестимесячный отпуск. При удалении ему было пожаловано 80 тыс. рублей единовременно, 5 тысяч пенсии, 1800 крестьян в Малороссии, 2000 в Польше и серебряный сервиз в 80000 руб. Сравнительно с другими это было очень немного; Зорич, заступивший его место, получил по крайней мере впятеро больше, что объясняют обыкновенно застенчивостью Завадовского и его некорыстолюбием в молодые годы.
Правда, эти достоинства под влиянием окружавшей его обстановки развились со временем и в нем. Завадовский мечтал о возможности возвратиться в прежнее положение; но дальнейшие свидания с государыней и ее холодное обращение окончательно убедили его, что уже «былого не воротишь». В 1778 г. государыня стала возлагать на него весьма разнообразные и значительные обязанности.
В 1778-1793 продолжал играть заметную роль при дворе; кабинет-секретарь, генерал-майор. Готовил ряд правительственных документов (в том числе составил Манифест об издании учреждения о губерниях в 1775). В 1777, несмотря на охлаждение к нему императрицы Екатерины II, по-прежнему выполнял ряд важных поручений (автор уставов и управляющий Санкт-Петербургским дворянским и Городским заемным банками, председатель комиссии законов, руководитель постройки Исаакиевского собора в Санкт-Петербурге и др.).
С 1782 первоприсутствующий в Комиссии для устройства народных училищ, в результате работы которой в 1782-1786 проведена школьная реформа, создана система учебных заведений (малые и главные народные училища) с единой методикой и учебными планами.Императрица Екатерина до конца жизни благоволила Завадовскому, несмотря на его неприязненные отношения к ее последнему любимцу Зубову. Благоволил также первое время своего царствования и Император Павел, вероятно, потому, что Завадовский был принципиальным врагом Зубова, которого этот государь ненавидел более всех других фаворитов своей матери.
При Павле I Завадовский был сначала в милости, получил графское достоинство Российской империи, но затем, после смерти своего близкого друга князя Безбородко, впал в опалу. «По случаю похищения, — читаем в указе Правительствующему сенату 6 ноября 1799 г. — случившегося в ассигнационном банке, секретарем Матвеевым и архивариусом Нееловым, повелеваем тотчас всех директоров оного банка, под отчетом коих казна состоит, от должности отрешить. А так как под начальством графа Завадовского подобная операция случается уже в третий раз, то он отставлен от службы», и выслан в деревню под присмотр полиции. В продолжение всего царствованья Павла граф Завадовский жил в Ляличах, откуда ему не дозволено было выезжать далее десяти верст. Исправнику приказано было наблюдать за ним; если иногда случалось графу от скуки выехать к какому-нибудь соседу верст за десять, то исправник сейчас же являлся туда и заставлял графа, хотя в полночь, не смотря ни на какую погоду, возвращаться домой.
Державин, рассказывает, — впрочем, не беспристрастно, — что государственный заемный банк был для Завадовского источником «наживы». Император Павел был вполне убежден в непричастности Завадовского к расхищению казенных денег и продолжал относиться к нему с сугубым доверием. Когда же подобного рода явление повторилось и в ассигнационном банке, у него естественно могло зародиться сомнение в правильности своего первого решения, а потому и кара постигла Завадовского. Завадовский жил в деревне, где им был заложен громадный дом (по плану архитектора Кваренги) и разбит парк на 130 десятин, обнесенный каменной стеной на 7 верст.
С восшествием на престол императора Александра I член Непременного совета и председатель Комиссии о составлении законов (до 1803). Сторонник значительного расширения прав Сената. По решению Сената в 1801 подготовил проект его преобразования в высший исполнительный и судебный орган, предусматривавший безапелляционность его решений, право представлений Сената императору о несоответствии вновь изданных законов существующим. С 1802 министр народного просвещения. Под руководством Завадовского образованы учебные округа (1803), открыты университеты в Харькове, Казани, Дерпте, Вильно и утверждены их уставы (1802-1804). Университетский устав 1804 предоставил университетам широкую автономию, наделив большими правами их советы. В 1804 созданы первые в России заведения для подготовки учителей (Главный педагогический институт в Санкт-Петербурге), открыто большое число приходских училищ (в селах — народные школы). При непосредственном участии Завадовского в 1804 принят «Устав о цензуре», передавший вопросы цензуры в ведение Главного правления училищ. Для привлечения дворян в университеты по инициативе Завадовского выпускникам университетов предоставлены льготы при поступлении на военную службу (1806) и др. С 1810 председатель Департамента законов Государственного совета.
При учреждении министерств в 1802 г. ему поручено было управление министерством народного просвещения. Взгляды на его деятельность в этом звании весьма различны: одни считают министерство народного просвещения самым неудачным из подобного рода учреждений; другие — превозносят деятельность Завадовского. Все это тенденциозные мнения. Время и обстоятельства требовали большого напряжения сил, и министерство народного просвещения проявило действительно живую деятельность под управлением Завадовского, и если Богданович говорит, что за восемь лет его управления для народного образования сделано было более, чем в целое предшествовавшее столетие, он не искажает истины. В продолжение одного первого года в Петербурге было открыто 20 приходских училищ, в 1804 г. по ведомству народного просвещения было уже 491 учебных заведений с 33484 учащимися, а 1805 — 688 учебных заведений. При нем учреждены учебные округи, явились народные школы, в уездах уездные училища, гимназии в губернских городах, открыты университеты в Харькове и Казани, педагогический институт для образования преподавателей и несколько лицеев. Он дал новый устав университетам, академии наук и духовным академиям и училищам и предоставил для всех бесплатное образование. С целью поднять в глазах публики общеобразовательные учебные заведения Завадовский посылал своих сыновей в гимназии. Знать роптала на него по этому поводу, упрекая его за то, что он позволяет графским детям сидеть на одних скамьях с детьми сапожников и кучеров. Но он был (что весьма характерно) выше этих предрассудков и считал, что образование сокращает расстояние между людьми. Завадовский также принадлежит разработка цензурного устава, которому историки административного права приписывают название «либерального» и который в 1812 г. был изменен в ущерб свободе слова.
Однако общество не питало большой симпатии к учебной реформе Завадовского и желало видеть на его месте другого. К тому же он стал дряхлеть. Государь Император решил дать ему более покойную должность и с открытием государственного совета (1 января 1810 г.) назначил его председателем департамента законов. В этой должности Завадовский оставался до конца своей жизни. Он дожил до преклонных лет и скончался на 74 году от рождения и погребен в Александро-Невской лавре.