Отец его был дьяком и известен тем, что в 1634 г. ездил в Турцию «в товарищах» с Г.И. Коробьиным , а в 1645 г. — в Персию «в товарищах» же с В.С. Волконским. От отца Матвеев получил значительные вотчины. На тринадцатом году был взят во дворец «в житье» и воспитывался вместе с царевичем Алексеем . Сближение перешло в прочную дружбу. По вступлении Алексея Михайловича на престол Матвеев скоро начинает получать ответственные поручения, хотя довольно долго остается в невидном звании стрелецкого головы.
Во время польского похода 1654 г. он участвует в переговорах о сдаче Смоленска; в 1854 же году едет в Малороссию в составе «великого посольства» В.В. Бутурлина и присутствует на знаменитой Переяславской раде; в 1656 — 57 годах дважды посылается в Литву и Польшу для переговоров с гетманом Гонсевским об избрании Алексея Михайловича на польский престол, а в промежутке ведет переговоры в Малороссии с гетманом Выговским . В 1666 г. на Матвеева возлагается важная обязанность состоять при восточных патриархах, приезжавших в Москву для суда над Никоном . В 1669 г. Матвеев снова в Малороссии, куда послан вместе с Г.Г. Ромодановским в виду наступивших там смут; результатом были постановления Глуховской рады, которыми надолго определилось положение Малороссии и в выработке которых Матвеев, несомненно, играл главную роль.
Вскоре по возвращении Матвеева назначается начальником Малороссийского приказа вместо Ордина-Нащокина и с этого времени проявляет уже собственную инициативу в сложных и запутанных вопросах, связанных с малороссийскими отношениями. В 1671 г. Матвеев сменил Ордина-Нащокина и в заведовании Посольским приказом, после чего вся внешняя политика России переходит в его руки.
В отличие от прежнего начальника Посольского приказа А. Л. Ордын-Нащокина, стремившегося к союзу с Польшей против шведов и к приобретению Ливонии, считавшего Малороссию «великой для государственной казны обузой», Матвеев видел в присоединении Малороссии «прицепление естественной ветви к ее историческому корню». Он считал, что об уступке Киева полякам «и помыслить страшно», и много способствовал упорядочению малороссийских дел и усилению в Малороссии московской власти. Разногласия во взглядах Матвеева и Нащокина вызвали борьбу между ними, закончившуюся назначением Матвеева в 1671, тогда уже думного дворянина, «оберегателем государственных посольских дел» вместо Нащокина.
В доме Матвеева царь Алексей познакомился с родственницей его жены, Натальей Кирилловной Нарышкиной. Девушка воспитывалась в покоях супруги Матвеева, Евдокии Григорьевны Хомутовой. Наталья Нарышкина стала второй супругой Алексея Михайловича, матерью Петра Великого. О прочной дружбе царя с Матвеевым свидетельствуют строки из письма Алексея Михайловича: «Приезжай скорее, мои дети осиротели без тебя, мне не с кем посоветоваться.
В последние годы царствования Алексея Михайловича Матвеев — самый влиятельный из приближенных царя. За время управления Малороссийским и Посольским приказами он «учинил, по его собственному выражению, прибыли великие» государевой казне: построил аптеку и кружечный двор, и из доходов от них «сделал дворы каменны — Посольский, греческий, лавки», и, сверх того, ежегодно доставлял в Тайный и другие приказы по 60 тысяч рублей. Важным делом его была новая организация продовольствия московских войск, расположенных на Украине: вместо хлебных запасов туда стали посылать из Москвы деньги, что было много экономнее и удобнее.
Матвеев же расширил операции Московского монетного двора. В 1672 г. Матвеев заключил новый договор с армянской компанией по торговле персидским шелком, предоставлявший по сравнению с договором 1667 г. значительные выгоды казне и русским купцам. При нем также был отправлен в Китай Н. Спафарий с поручением составить подробное описание пути от Тобольска до китайской границы. Матвеев, несомненно, оказывал влияние и на другие стороны управления, хотя и не поддающееся точному определению. Матвеевым был заключен договор с Бранденбургом по поводу помощи Польше в борьбе против турок (1673), он вел переговоры с польскими, шведскими и австрийскими послами, способствовал избранию гетманом Самойловича Ивана и склонил гетмана П. Д. Дорошенко к переходу в подданство Москве.
Вскоре после смерти Алексея Михайловича Матвеев, по проискам своих врагов — Милославских , подвергся опале: под предлогом обиды, будто бы причиненной им одному иноземному послу, Матвеев был устранен от заведования Посольским приказом и послан воеводой в Верхотурье. Вслед затем он был обвинен в чернокнижии и, лишенный без суда боярства и имений, с дороги, из Казани, был отправлен в ссылку, в Пустозерск. В Пустозерске Матвеев пробыл около 4 лет в очень тяжелых условиях, писал отсюда царю Федору Алексеевичу оправдательные челобитные, просил также содействия у патриарха и у влиятельных вельмож; но добился только незначительного облегчения своей участи: был переведен в Мезень.
Только в 1681 г., по просьбе второй жены Федора Алексеевича, М.М. Апраксиной, приходившейся Матвееву крестницей, его перевели в г. Лух, причем тогда же объявлена была его невиновность, и ему были возвращены оставшиеся за раздачей прежние «пожитки» и даже пожалована новая обширная вотчина — село Верхний Ландех (Суздальского уезда). С избранием на царство Петра , когда партия Нарышкиных восторжествовала, Матвеев немедленно был вызван в Москву, где ему предстояло стать главной опорой нового правительства. Он приехал в Москву 11 мая 1682 г., а 15-го произошел стрелецкий бунт, и Матвеев сделался одной из первых его жертв: он был изрублен стрельцами на глазах царской семьи.
Похоронен он был при церкви Николы в Столпах в Армянском переулке, которую снесли в 1935 году. Памятник над его могилой был поставлен в начале XIX века его прямым потомком — государственным канцлером графом Николаем Румянцевым.
Матвеев ценил общение с иностранцами и охотно пересаживал на русскую почву заморские новинки. Познакомившись с театральным искусством Немецкой Слободы, Матвеев из своих дворовых людей составил труппу актеров, поручив обучить их немцу, и потом тешил царя театральными представлениями, когда тот приезжал к нему в гости. В доме Матвеева женщины стали свободно появляться в мужском обществе, и благодаря этому царь Алексей мог познакомиться с Н.К. Нарышкиной. Матвеев был не чужд литературной деятельности: он составил, между прочим, «Историю русских государей, славных в ратных победах, в лицах» и «Историю избрания и венчания на царство Михаила Федоровича» (не дошли до нас).
Матвеев был женат на Евдокии Григорьевне Хомутовой (ум. 1672) . Его сын Андрей Артамонович Матвеев — один из первых постоянных посланников России за границей — был удостоен в Священной Римской империи титула графа. Его внучка Мария Андреевна Матвеева была замужем за Александром Ивановичем Румянцевым и стала матерью великого полководца Румянцева-Задунайского.