Окончил школу гвардейских подпрапорщиков в Петербурге; действительную службу начал в 1828 унтер-офицером лейб-гвардейского Конного полка. Участвовал в подавлении Польского восстания 1830—31, затем в военных действиях на Кавказе. С 1844 состоял для особых поручений при военном министре. В 1848 в звании генерал-майора зачислен в свиту императора Николая I, генерал-провиантмейстер Военного министерства.
С 1855 генерал-адъютант императора Александра II, с 1856 член Военного совета. При Долгорукове в рамках общероссийских преобразований в Москве проведены земская (1865) и городская (1870) реформы. В декабре 1872 состоялись первые выборы гласных по новому Городовому положению. В 1881 утверждено «Положение о московской городской полиции», изменившее административно-территориальное деление Москвы и систему полицейского управления.
Долгоруков уделял большое внимание благоустройству города: в 1868 началось газовое освещение Москвы, в 1872 открыто движение на первой конно-железной дороге, для лучшего водоснабжения продолжалось устройство артезианских колодцев. В 1866 открыта Московская консерватория, в 1872 — Высшие женские курсы.
В Москве проходили выставки: Этнографическая (1867), Политехническая (1872), Всероссийская промышленно-художественная (1882), по конезаводству (1866, 1869, 1972), к 25-летию Общества поощрения трудолюбия в Москве (1888) и др. В 1883 открыт Исторический музей имени императора Александра III.
Данью уважения поэту стало проведение пушкинских дней и открытие памятника А.С. Пушкину (1880). Завершено строительство храма Христа Спасителя (1883; Долгоруков был председателем комиссии по созданию храма). При активном содействии Долгорукова во время русско-турецкой войны 1877—78 в Москве и Московской губернии организовано около 20 комитетов Общества Красного Креста, собраны около 1,5 млн. пожертвований в пользу общества и свыше 2,2 млн. рублей для приобретения судов Добровольного флота, устроены помещения для госпиталей на 2400 коек; по предложению Долгорукова московское дворянство сформировало санитарный поезд.
В соответствии с должностным статусом Долгоруков являлся президентом, председателем, попечителем, покровителем, почётным, постоянным и действительным членом различных организаций. Пользовался большой популярностью у москвичей. В 1875 Долгорукову присвоено звание почётного гражданина Москвы; в 1877 по просьбе жителей часть Новослободской улицы, прилежащей к Садовой-Триумфальной улице, переименована в Долгоруковскую улицу.
В 1891 Долгоруков вышел в отставку, вскоре уехал в Париж для лечения.Князь Владимир Андреевич скончался 1 июля 1891 года в Париже и был похоронен на Смоленском кладбище Санкт-Петербурга.
Память о генерал-губернаторе В.А. Долгорукове увековечена в названии улицы – Долгоруковская. В 1919—1992 годах она носила имя И. П. Каляева, совершившего убийство великого князя Сергея Александровича, сменившего в 1891 году В.А. Долгорукова на генерал-губернаторском посту. Дольше всех других градоначальников управлял Москвой генерал-адъютант князь Владимир Андреевич Долгоруков (1865– 1891 гг.), установивший своеобразный рекорд генерал-губернаторского долголетия – 25 лет и почти 6 месяцев.