С 1884г. женат на принцессе Саксен-Альтенбургской Елизавете Маврикиевне, от брака с которой имел 9 детей (трое из них убиты большевиками в Алапаевске, один погиб на войне).
Второй сын великого князя Константина Николаевича и великой княгини Александры Иосифовны, внук Николая I. С детства великого князя готовили к службе на флоте. В 7 лет его воспитателем был назначен капитан 1-го ранга А. И. Зелёной, состоявший в этой должности до совершеннолетия великого князя. Занятия велись по программе Морского училища. В 1874 и 1876 годах гардемарином совершил дальнее плавание в Атлантический океан и Средиземное море на фрегате «Светлана». В августе 1876 года сдал экзамен по программе Морского училища и был произведён в чин мичмана.
Участник Русско-турецкой войны 1877—1878 годов. 17 октября 1877 года награждён орденом Св. Георгия 4-й степени.В мае 1878 года произведён в лейтенанты флота. В августе 1878 года назначен флигель-адъютантом. В январе—сентябре 1880 года командовал ротой Гвардейского экипажа.
В сентябре 1880 года назначен вахтенным начальником на корабль «Герцог Эдинбургский», на котором до января 1882 года находился в плавании по Средиземному морю.
Во время этого плавания, летом 1881 года, Константин Константинович посетил Афон; в беседе со старцем он выразил желание «приносить великую пользу» в духовном сане, но старец сказал, что «пока ждет меня иная служба, иные обязанности, а со временем, быть может, Господь благословит намерение. Дай Бог, чтобы сбылись слова святого старца».
В 1882 году по болезни переведён в сухопутное ведомство и в августе произведён в штабс-капитаны гвардии. До конца 1883 года находился в заграничном отпуске, во время которого познакомился со своей будущей женой. В декабре 1883 года назначен командиром роты Его Величества лейб-гвардии Измайловского полка.
В 1887 году произведён в капитаны гвардии, а 23 апреля 1891 года — в полковники и назначен командующим лейб-гвардии Преображенским полком. В 1894 году произведён в генерал-майоры, с утверждением в должности командира полка. Почетный член Московского университета (1895). В 1898 году назначен в Свиту Его Величества.
4 марта 1900 года назначен Главным начальником Военно-учебных заведений (с 13 марта 1910 года — генерал-инспектор Военно-учебных заведений), после чего объехал все вверенные ему заведения.
По итогам инспекции появился приказ, в котором Великий князь высказался о задачах военного воспитания: «Закрытое заведение обязано, по мере нравственного роста своих воспитанников, постепенно поднимать в них сознание их человеческого достоинства и бережно устранять всё то, что может унизить или оскорбить это достоинство. Только при этом условии воспитанники старших классов могут стать ТЕМ, чем они должны быть, — цветом и гордостью своих заведений, друзьями своих воспитателей и разумными направителями общественного мнения всей массы воспитанников в добрую сторону».
Дважды посещал Одессу с целью наблюдения за строительством Кадетского корпуса, а 6 октября 1902 года присутствовал при освящении корпусный храма в память святых равноапостольных братьев Кирилла и Мефодия.
В январе 1901 года Великий князь Константин Константинович произведён в генерал-лейтенанты и назначен генерал-адъютантом. В 1907 году произведён в генералы от инфантерии. 2 марта 1911 года назначен присутствующим в Правительствующем сенате (с оставлением в остальных должностях). В 1913 году за заслуги по службе награждён орденом Св. Владимира 1-й степени (4-я степень — 1883 год, 3-я степень — 1896 год, 2-я степень — 1903 год).
Состоял также шефом 2-го батальона лейб-гвардии 4-го стрелкового Императорской Фамилии полка, в списках лейб-гвардии Преображенского полка, Павловского военного и Константиновского артиллерийского училищ, Пажеского корпуса и Оренбургского казачьего войска. Почётный член Николаевской инженерной академии (с 1904 г.), Императорской военно-медицинской академии и Михайловской артиллерийской академии.
В 1887 году избран почётным членом Императорской Академии наук, а в 1889 году был назначен её Президентом («августейший президент»). По его инициативе при Отделении русского языка и словесности был учреждён Разряд изящной словесности, по которому в почётные академики избирались известные писатели — П. Д. Боборыкин (1900), И. А. Бунин (1909), В. Г. Короленко (1900), А. В. Сухово-Кобылин (1902), А. П. Чехов (1900) и другие. Возглавлял комитет по празднованию 100-летия со дня рождения А. С. Пушкина. При содействии великого князя было открыто новое здание Зоологического музея в Санкт-Петербурге.
В 1889 году избран почётным попечителем Педагогических курсов при петербургских женских гимназиях. Состоял председателем Императорского Русского археологического общества (с 1892 года), Императорского общества любителей естествознания, антропологии и этнографии, Императорского Российского общества спасания на водах, Императорского Православного Палестинского общества и Санкт-Петербургского яхт-клуба. Действительный член Императорского общества поощрения художеств, Императорского Русского музыкального общества. Почётный член Русского астрономического общества, Русского исторического общества, Русского общества Красного Креста, Русского общества содействия торговому судоходству. Великий князь, в юности сам бывший военным моряком, оказал покровительство снаряжаемой академией наук Русской полярной экспедиции барона Э. В. Толля.
Константин Константинович питал слабость к подмосковным «дворянским гнёздам» и в 1903 году приобрёл на берегу реки Руза имение Осташёво, где когда-то тайно собирались декабристы. Он писал по этому поводу старшему сыну: «Мы с Мама очень тихо и приятно провели в Осташеве. Оно далеко превзошло ожидания Мама, к великой моей радости. И местность, и дом очень ей понравились, да и не ей одной — все в восторге от нового нашего имения». С тех пор великий князь подолгу жил на берегах Рузы и растил здесь детей; однажды вся семья совершила путешествие по «золотому кольцу» вплоть до Романова-Борисоглебска и Углича.
Лето 1914 года Константин Константинович с женой и младшими детьми проводили в Германии, на родине жены, где их застало начало Первой мировой войны; были задержаны и выдворены за пределы Германии. Новое тяжелейшее потрясение великий князь испытал осенью 1914 года с гибелью сына, князя Олега. Эти испытания подорвали и без того некрепкое здоровье великого князя.
Великий князь Константин Константинович скончался 2 (15) июня 1915 года, в своём кабинете во дворце в Павловске, в присутствии 9-летней дочери Веры, и был отпет в дворцовой церкви. Он был последним из Романовых, умершим до революции и погребённым в великокняжеской усыпальнице Петропавловской крепости.
Великий князь Константин Константинович, поэтический псевдоним К. Р. Подписывал он свои стихи инициалами К. Р. – Константин Романов.
Когда креста нести нет мочи,
Когда тоски не побороть,
Мы к небесам возводим очи,
Творя молитву дни и ночи,
Чтобы помиловал Господь.
К. Р.
Последним крупным произведением К.Р. является драма в стихах “Царь Иудейский” (1913), ее содержание представляет собой изложение в поэтической форме событий последних дней жизни Христа, вступление его в Иерусалим, казни и воскресения.Однако разрешение на ее публичный показ не дали, и Константин Константинович сам поставил ее в Эрмитажном театре в 1914 году и сам же в ней сыграл вместе с сыновьями Иоанном, Константином и Игорем. В то время его стихи в определенных кругах пользовались популярностью. Так, песня «Умер бедняга в больнице военной» на слова К. Р. считалась народной.
Женат на Елизавете Маврикиевне Саксен-Альтенбургской (1865-1927). От брака родились дети: Иоанн (1886-1918), Гавриил (1887-1955), Татьяна (1890-1970), Константин (1991?-1914), Олег (1892-1914), Игорь (1894-1918), Георгий (1903-1938), Наталья (умерла в младенчестве, 1905), Вера (р. 1906).
Вдова великого князя Константина Константиновича великая княгиня Елисавета Маврикиевна в начале революции жила у себя в Мраморном дворце со своими младшими детьми: князем Георгием Константиновичем и княжной Верой Константиновной. Когда большевики захватили власть, она принуждена была покинуть Мраморный дворец и поселилась на Дворцовой набережной, в доме Жеребцова. В ноябре 1918 года она уехала на пароходе в Стокгольм к шведским королю и королеве вместе с князем Георгием Константиновичем, княжной Верой Константиновной и детьми князя Иоанна Константиновича и княгини Елены Петровны: князем Всеволодом Иоанновичем и княжной Екатериной Иоанновной.
Из Стокгольма великая княгиня Елисавета Маврикиевна переехала в Брюссель с Георгием и Верой, а оттуда в Германию, на свою родину, в город Альтенбург близ Лейпцига, где и скончалась 24 марта 1927 г. Их дочь Вера умерла в США в 2001 году, прожив 94 года. Она была последней представительницей ветви Константиновичей, внуков и правнуков императора Николая I. Она никогда не была замужем и наотрез отказалась принимать иностранное гражданство.
По свидетельству Мосолова А.А.:
Он был высокообразованным человеком и поэтом, его стихи высоко ценились российской публикой. Он подписывался инициалами «К. Р.»; этот псевдоним вызывал уважение у российских рецензентов. Жизнь его протекала мирно и патриархально. К концу жизни он достиг скромного поста заведующего военными училищами. Здесь он показал кое-какие способности к руководству. Он всегда держался в стороне от Большого двора, где не было никого, кто разделял бы его взгляды и вкусы.
Александр Михайлович (Романов) писал:
Перехожу к двоюродным дядям государя. Их было одиннадцать. Это, во-первых, два сына великого князя Константина Николаевича. (Третий, Вячеслав, скончался в молодости, а четвертый, Николай, провел свою жизнь в ссылке в Туркестане.)
Старший из них, великий князь Константин Константинович, был талантливым поэтом и очень религиозным человеком, что, до известной степени, и сужало и расширяло его кругозор. Он был автором лучшего перевода шекспировского «Гамлета» на русский язык и любил театр, выступая в главных ролях на любительских спектаклях в Эрмитажном театре Зимнего дворца. Он с большим тактом нес обязанности президента Императорской Академии наук и был первым, кто признал гений биолога Павлова. Он писал поэмы, драматические произведения и рассказы, подписываясь псевдонимом К.Р., и его талант признавался даже органами печати, враждебными существовавшему в России строю. В л.-гв. Измайловском полку он создал свои знаменитые «Измайловские досуги» и таким образом заменил обычные кутежи офицерских собраний интересными вечерами, посвященными современной русской литературе. Хорошо разбираясь в тайниках души русского простолюдина, великий князь Константин Константинович значительно преобразовал методы воспитания молодых солдат. Для него не было большего удовольствия, как провести утро в казармах, где он занимался с ними словесностью. Будучи в течение многих лет начальником Главного управления военно-учебных заведений, он сделал многое, чтобы смягчить суровые методы нашей военной педагогики.
Все это следовало также приветствовать. Казалось бы, что такой гуманный и просвещенный человек, как великий князь Константин Константинович, был бы неоценимым помощником государя в делах управления империей. Но, к сожалению, Константин Константинович ненавидел политику и чуждался всяческого общения с политическими деятелями. Он искал прежде всего уединения в обществе книг, драматических произведений, ученых, солдат, кадет и своей счастливой семьи, состоявшей из жены, великой княгини Елизаветы Маврикиевны (принцессы Саксен-Веймарской), шести сыновей и двух дочерей. В этом отношении воля великого князя была непреклонна, и потому престол лишался в его лице ценной опоры (Александр Михайлович (Романов)).