С начала 1926 г., когда в Харькове временно находился высланный Киевский митрополит и экзарх Украины Михаил (Ермаков), Константин стал одним из его ближайших помощников. В марте того же года вместе с митрополитом Михаилом (Ермаковым) и другими украинскими архиереями Константин подписал обращение в поддержку заместителя патриаршего местоблюстителя митрополита Сергия (Страгородского; с 1943 г. – патриарх Московский и всея Руси), в документе были осуждены Свердловский архиепископ Григорий (Яцковский) и другие лидеры григорианского раскола. В том же году Константин подвергся в Харькове двухнедельному аресту. В 1927 г. Константин поддержал решение заместителя патриаршего местоблюстителя митрополита Сергия (Страгородского) пойти на компромисс с советскими властями как условие получения Патриаршей церковью легального статуса в СССР. 18 мая Константин участвовал в созванном митрополитом Сергием (Страгородским) в Москве совещании архиереев, на котором был образован Временный Священный Синод РПЦ, вошёл в его состав; поставил подпись под «Декларацией» 1927 г.; 12 ноября того же года был возведён в сан архиепископа, назначен управляющим Харьковской и Ахтырской епархией. В января 1928 г. Константин принял участие в совещании украинских архиереев в Киеве, на котором, как член Временного Священного Синода РПЦ, выступил с докладом по вопросу о неканоничной автокефалии Православной церкви в Польше. После смерти 17 марта 1929 г. экзарха митрополита Михаила (Ермакова) Константин был назначен экзархом Украины, местом его пребывания был определён Харьков. В условиях нового наступления на церковь Константин пытался принимать меры к сохранению церковного управления. В 1930 г. вместо благочинных, число которых резко сократилось из-за массового закрытия храмов во время коллективизации, Константин назначал экзарших наблюдателей в округа и районы Украины. 18 мая 1932 г. Константин был возведён в сан митрополита. 26 июня 1934 г. в связи с переводом столицы УССР из Харькова в Киев назначен митрополитом Киевским. Первоначально власти не давали разрешения на переезд экзарха в Киев, хотя он бывал там с кратковременными визитами. 29 марта 1935 г. прибыл в Киев для постоянного проживания. В период архиерейского служения Константина в Киеве усилились гонения на церковь: власти закрывали последние храмы, проводили массовые аресты священнослужителей. В Киевской епархии к моменту приезда туда Константина было 70 действующих храмов, из них семь – в Киеве. В 1937 г. на Киевщине осталось лишь 16 церквей, в том числе четыре храма в Киеве. Кафедральным собором был Покровский храм на Соломенке. 29 октября 1937 г. Константин был арестован и помещён в Лукьяновскую тюрьму. Престарелого и тяжелобольного экзарха подвергали непрерывным допросам. Его обвиняли в том, что он являлся руководителем «антисоветской фашистской организации церковников». Константин отказался признать себя виновным. Во время одного из ночных допросов он скончался, по официальной версии – от кровоизлияния в мозг. Согласно преданию, вывезенное из тюрьмы тело архиерея было опознано и тайно похоронено в отдельной могиле. Однако попытки отыскать её не дали результата. Предполагаемым местом погребения Константина является одна из общих безвестных могил на киевском Лукьяновском кладбище, где проводились массовые захоронения погибших в результате репрессий. 19 октября 1993 г. решением Священного Синода УПЦ прославлен к местному почитанию.