Обучался в Инженерном училище, но оставил учёбу из-за болезни. В 1828 году поступил на службу в департамент государственных имуществ. В 1830 году оставил гражданскую службу и определился рядовым в Новгородский кирасирский полк. Участвовал в подавлении польского восстания 1830—1831 годов: за отличие в битве при Грохове произведён в унтер-офицеры, за подвиг (спасение командира полка) в бою при Нуре награждён знаком отличия Военного ордена и 28 мая (9 июня) 1831 года произведён в офицеры.После польской кампании продолжил службу в кавалерии. В 1854—1860 году в чине полковника служил командиром жандармского полка, располагавшегося в Киеве. В конце 1860 года назначен обер-полицмейстером в Варшаву. В феврале 1861 года во время волнений в Варшаве был ранен в голову камнем.
15 (27) февраля 1861 года был произведен в генерал-майоры. Затем был зачислен в запасные войска и уволен в отпуск за границу на один год. В сентябре 1863 года назначен начальником 3-го округа Корпуса жандармов в Царстве Польском, вскоре был ранен в голову топором в результате покушения (от четырёх поляков с топорами отбился безоружный). В декабре 1863 года назначен генерал-полицмейстером в Царстве Польском, а затем членом Государственного совета, членом совета управления и учредительного комитета по крестьянским делам в Царстве Польском. Особо отличился при подавлении польского восстания 1863—1864 годов.
После выстрела Дмитрия Каракозова 17 (29) апреля 1866 был назначен Санкт-Петербургским обер-полицмейстером, а 30 августа произведён в генерал-лейтенанты. Кроме того, был пожалован майоратом в Царстве Польском с ежегодным доходом в 5000 рублей. В 1867 году был пожалован в генерал-адъютанты. Сумел добиться порядка в городе и улучшения работы полиции.
В это время разработано «Положение о градоначальстве» — во главе городской администрации поставлен градоначальник с правами губернатора. С 10 (22) апреля 1873 по 23 мая (4 июня) 1878 занимал должность Санкт-Петербургского градоначальника, дослужившись до чина генерала-от-кавалерии (1878). 7 (19) ноября 1869 года произведена однодневная перепись населения и столичных домов.
Проложена линия водопроводов из центра города на Васильевский остров, Петербургскую и Выборгскую стороны. Открыты Александровский сад возле Адмиралтейства, бульвар на Малой Конюшенной, гостиница «Европейская». Установлены памятники Пушкину в сквере на Пушкинской улице и Екатерине II в сквере на Невском проспекте. Основаны железопрокатный и проволочный заводы, вагоностроительный завод «Ретшке», бумагопрядильная мануфактура Л. Кенига. Под нужды городской администрации передано здание по адресу Гороховая улица, 2, где был надстроен этаж для служебной квартиры губернатора. С 1866 года был членом попечительского совета заведений общественного призрения в Санкт-Петербурге.
25 июля (6 августа) 1877 года Ф. Ф. Трепов отдал приказ о порке политического заключенного народника А. С. Боголюбова за то, что тот не снял перед ним шапку. Приказ Ф. Ф. Трепова о сечении розгами был нарушением закона о запрете телесных наказаний от 17 (29) апреля 1863 года.
Следствием приказа стало покушение на убийство Трепова, совершённое В. И. Засулич 24 января (5 февраля) 1878 года. Засулич пришла на приём к Трепову и дважды выстрелила ему в живот, тяжело ранив. Вера Засулич была затем оправдана судом присяжных 31 марта (12 апреля) 1878 года. Судебное оправдание Засулич вызвало бурное одобрение со стороны либеральных и осуждение консервативных кругов российского общества.
В браке имел 4-х сыновей: Фёдор (1854—1938), генерал от кавалерии, генерал-адъютант, киевский, волынский и подольский генерал-губернатор (1908—1914); Дмитрий (1855—1906), генерал-майор Свиты Е.И.В., московский обер-полицмейстер, товарищ министра внутренних дел, дворцовый комендант; Александр (1862—1928), министр путей сообщения, председатель Совета министров России (1916): Владимир (1863—1918), таврический губернатор, член Государственного совета.