Детство провел в Пернове, где его отец Иван Васильевич Панин (1673-1736) был комендантом. В 1740 из вахмистров Конной гвардии произведен в корнеты; по некоторым известиям, он был при дворе Елизаветы Петровны опасным соперником К.Г. Разумовского и И.И. Шувалова. В 1747 назначен послом в Данию, но уже через несколько месяцев перемещен в Стокгольм, где и пробыл 12 лет. В задачи Панина входило противодействие усилению королевской власти, при слабости которой русское правительство надеялось иметь больше влияния. За время пребывания в Швеции Панин, по отзывам современников, проникся симпатиями к конституционному строю. С изменением в направлении внешней политики России со 2-й половины 1750-х гг. (сближение России с Францией, англо-прусская конвенция), положение Панина заметно осложнилось; неоднократно просился в отставку. 29 июня 1760 внезапно назначен воспитателем великого князя Павла Петровича.
Произошло сближение Панина с великой княгиней Екатериной Алексеевной, в особенности после смерти императрицы Елизаветы Петровны. Петр III не доверял Панину, хотя и пожаловал его чином действительного тайного советника и орденом Св. Андрея Первозванного. Принимал деятельное участие в подготовке и проведении переворота, приведшего к власти Екатерину II. Панин предпринял попытку ограничить произвол самодержавной власти, представив императрице проект учреждения императорского Совета и реформы Сената. В введении к проекту Панин дал резкую критику господствовавшего в управлении произвола («в производстве дел всегда действовала более сила персон, чем власть мест государственных»), и предложил учредить Совет из 6-8 членов-министров; все бумаги, которые требуют подписи государя, должны были проходить через этот Совет. Согласно проекту, Сенату представлялось право «иметь свободность представлять на Высочайшие повеления, если они… могут утеснить законы или благосостояние народа».
Проект вызвал опасение, что в нем скрыто стремление к ограничению самодержавной власти; императрица отвергла его. В письме к А.А. Вяземскому она, подразумевая, вероятно, Панина и подозревая его в симпатиях к конституционным формам правления, писала: «…иной думает для того, что он был долго в той или другой земле, то везде по политике той или другой его любимой земли все учреждать должно». Однако Панин не утратил своего положения; Екатерина II, по ее собственным словам, опасалась удалить Панина, пользовавшимся большим влиянием на Павла. Этой ролью Панина объясняется и положение его во все последующее время среди борющихся придворных партий, и отношения его к императрице, которые никогда не были искренними. С именем Панина связаны все вопросы внешней политики русского правительства в 1762-1783.
Будучи сначала неофициальным советником императрицы, в 1763-81 он руководил Коллегией иностранных дел. Стремился к укреплению внешнеполитических позиций России, созданию союза держав Северной Европы — «Северного аккорда», навлекшего на него обвинение в доктринерстве. Системой этой Панин стремился создать вокруг России союз всех северных держав для противодействия стремлениям Франции и Германии. С этой целью он старался (хотя и безуспешно) соединить государства, интересы которых были совершенно противоположны, как, например, Пруссию с Англией и Саксонией. Фридрих II, которому нужен был союз только с Россией, мешал осуществлению этого проекта.
Главное внимание Панин обратил на отношения к Швеции, причем политика его в этом направлении была очень неудачна: его попытка подчинить Швецию исключительно русскому влиянию и устранить французское стоила России громадных денег и не привела к желанному результату. Одновременно с вопросом о «Северном аккорде» должны были быть разрешены вопросы об отношениях к Польше и Пруссии. С Пруссией был заключен союз, давший России возможность расширить свое влияние в Польше. Польшу он стремился включить в сферу влияния России и не был склонен делить это влияние, а тем более — саму территорию Польши. Его энергии до известной степени русская политика обязана была возведением на престол Станислава Понятовского.
Война с Турцией (1768-1774) весьма неблагоприятно отразилась на положении Панина; во всех неудачах обвиняли его: и в разрыве отношений с Турцией, и в том, что Россия осталась в этой борьбе без союзников. В то же время этой войной воспользовался Фридрих II, чтобы привести к осуществлению проект раздела Польши между Австрией, Россией и Пруссией. После принятия решения о женитьбе Павла Петровича Панин сумел обеспечить за собой влияние на будущую его супругу. Екатерина II была очень недовольна этим вмешательством Панина в ее семейные дела и воспользовалась женитьбой Павла, чтобы удалить Панина от должности воспитателя. Она щедро наградила Панина, но с радостью писала (октябрь 1773), что «дом ее очищен».
После смерти первой жены Павла и после женитьбы его на Марии Федоровне Панин сумел сохранить свое влияние на молодой двор. Воспитанный Паниным, Павел был страстным поклонником Фридриха П. Когда после Тешенского мира Екатерина II окончательно склонилась на сторону Австрии, Панину пришлось вступить в борьбу с влиянием Иосифа II, который в конце концов успел сблизиться с великокняжеской четой, предложив выдать сестру Марии Федоровны за своего племянника, наследника австрийского престола. Екатерина была очень недовольна происками Панина против этого брака; об опале его ходили слухи уже в начале 1781. В мае 1781 Панин взял отпуск и удалился в пожалованное ему имение Дугино, но в сентябре того же года вернулся в Санкт-Петербург.
В то же время разыгралось «бибиковское дело»; в перлюстрированных письмах А.А. Бибикова к А.Б. Куракину (близкому родственнику и другу Панина), сопровождавшему Павла Петровича во время его заграничной поездки, Екатерина прочла жалобы на страдания отечества и «грустное положение всех добромыслящих». Екатерина придавала этому делу большое значение и искала за Бибиковым и Куракиным более важных лиц. Панин был одним из образованнейших русских людей своего времени, так что, по отзывам иностранных послов, «походил скорее на немца». Панин принадлежал к масонам.
О честности и доброте Панина и в его время не было двух разных мнений, даже враги уважали его как личность гордую и честную. Из полученных им при вступлении Павла в брак 9 тыс. душ он половину роздал своим секретарям. Современники отмечали, что при всей разносторонней деятельности, которую Панину приходилось проявлять, он был очень ленив и медлителен.
Увековечить свою признательность Панину Павел мог лишь по смерти Екатерины, воздвигнув ему в 1797 г. памятник в церкви св. Магдалины в Павловске. Екатерина, сравнивая в письме к Гримму Панина с Орловым, ставит последнего гораздо выше и говорит, что у Панина было много крупных недостатков, но он умел их скрывать.