Участник Чигиринских походов 1677-1678, Крымских походов 1687 и 1689. Возглавляя Бутырский полк, в 1689 перешел от царевны Софьи Алексеевны на сторону Петра I, став его сподвижником и одним из создателей регулярной армии. Руководил Кожуховским походом 1694. Участник Азовских походов 1695-1696 (в 1696 руководил осадными работами). Подавил Стрелецкое восстание 1698.
Ревностный католик (1-й католический храм в России воздвигнут благодаря его усилиям) и сторонник Стюартов, он, однако, провёл почти всю свою жизнь на службе чужим монархам: в 1655-1661 воевал в шведской, польской и австрийской армиях. «Успев за короткий срок получить десяток ран в боях и дуэлях, Гордон приобретает немалый воинский опыт. Он несколько раз попадает в плен и, по обыкновению наемных солдат тех времен, довольно легко переходит из шведского стана в польский и обратно. В 1661 г. молодой офицер предлагает свою шпагу царю Алексею Михайловичу и появляется в Москве в чине майора пехоты. Царский посланник в Польше З. Ф. Леонтьев, который после долгих уговоров переманил его у австрийцев.
Гордон, в свою очередь, не подозревал, что едет в неведомую Московию навсегда, а его первые впечатления о стране и ее обитателях оказались столь неблагоприятны, что он горько раскаивался в своем выборе. Впрочем, бесконечные войны с Речью Посполитой и Османской империей давали много возможностей отличиться. К началу 1665 г. царь пожаловал Гордона в полковники, а год спустя отправил через него послание к королю Чарлзу II в Лондон, и там он смог проявить себя в качестве дипломата. Затем он несколько лет стоял со своим полком в южнорусских и украинских городах — Трубчевске, Брянске, Новом Осколе, Севске и Переяславе, которым часто угрожали казацкие мятежи и татарские набеги. В 1669-1670 гг., получив отпуск, он посетил по личным делам родные края, где не был с юных лет, и стал почетным гражданином города Эбердина».
Способный и образованный, храбрый на поле боя, опытный инженер и военный администратор, честных правил, Гордон быстро выдвинулся среди др. иноземцев, живших в России, и дослужился до самых высоких воинских чинов. Много лет провёл в Малороссии (1667- 1686), принимая участие в военном управлении края. Доблесть и боевое искусство Гордона ярко проявились в Чигиринских походах 1677-1678:
В 1677 году во главе драгунского полка участвовал в Первом Чигиринском походе и, следуя в русском авангарде, устроил укрепление при Бужинской переправе.Особенно прославился при героической обороне Чигирина от огромной Османской армии во Втором Чигиринском походе: ещё в апреле 1678 года во главе своего драгунского полка прибыл в Чигирин, во время осады, после гибели 3 августа воеводы И. И. Ржевского, возглавил гарнизон, лично поджег пороховой магазин и покинул крепость одним из последних, за что 20 августа 1678 года произведен в генерал-майоры.
В начале 1684 фаворит правительницы Софьи Алексеевны боярин князь В. В. Голицын попросил Гордона составить для него обстоятельную записку по вопросу о войне с Крымом, и Гордон на следующий день представил ему свой «мемуар».Биограф Гордона А. Брикнер отзывается об этой записке весьма одобрительно, полагая, что её обстоятельность и обширность «может служить доказательством того, что Гордон был в состоянии в самое короткое время изложить весьма отчетливо довольно сложные политические вопросы». Гордон участвовал в Крымских походах (1687 и 1689).
В 1689, командуя Бутырским полком, поддержал Петра I и способствовал его победе над царевной Софьей, что поставило Гордона в близкие и дружеские отношения с царём. Он выступал в роли военного наставника молодого царя, разрабатывал планы потешных сражений, был активным их участником (главный военачальник Кожуховского похода) и стал одним из первых иностранных учителей и вдохновителей Петра на создание регулярной армии. Вместе с Петром ездил на Белое море (1694).
Третий (после Ф. Лефорта и А. Головина) из генералов, командовавших русской армией при осаде Азова, Гордон был, по существу, руководителем всех осадных работ, и был главным инициатором взятия этой крепости с помощью «подвижного» земляного вала в 1696 г.. В 1698 под началом боярина и воеводы А. С. Шеина участвовал, тогда уже в чине генерал-поручика, в разгроме мятежных стрельцов под Воскресенским монастырём (Новый Иерусалим) на р. Истра, под Москвой. Был дважды женат и оба раза на голландках, живших в московской Немецкой слободе.
Личные качества Гордона, как и его заслуги, единодушно превозносились современниками, будь то западноевропейцы или русские. А. К. Нартов, приводит такие слова: “Сей чужестранец по сказанию тех, кои его лично знали, любим был не только Петром Великим, но и подданными его. Смерть его была сожалением всеобщим”». Гордон оставил дневник, охватывающий всю его жизнь (окончен 31 дек. 1698) и написанный на английском языке Он дошёл до нас не полностью: 1667-1677 и 1678-1684 года утеряны. Сочинение Гордона стало известным ещё в XVIII в. по извлечениям, опубликованным в разных изданиях. Дневник Гордона- важный источник по русской истории конца XVII в. Не только очевидец, но чаще всего и участник описываемых событий, автор отличается точностью и большой объективностью; форма изложения сухая, документальная; обилие подробностей. Особенно много даёт труд Гордон для истории войн с Турцией, описания военного устройства, личности Петра I, общественного и хозяйственного быта. По словам Н. Г. Устрялова, Дневник П. Гордона — это «сокровище неоцененное, материал по преимуществу исторический, не уступающий никакому акту в достоверности, исполненный множества любопытнейших подробностей!».