На месте современного кафедрального собора было построено здание базиликального типа (исследователям неизвестно, было ли оно христианским храмом). Согласно одной из гипотез, первоначальный кафедральный собор находился на месте средневековой церкви святой Цецилии (не подтверждается археологическими данными). К IV в. исследователи относят строительство крупного центрического здания на кладбище в северо-западном пригороде современного Кёльна (исследователи полагают, что это был мавзолей или поминальный зал); впоследствии оно почиталось как мартирий святого Гереона, по преданию претерпевшего мученическую смерть в Колонии. После убийства короля Хлодериха и падения королевства рипуарских франков (509 г.) Колония стала одним из периферийных центров Франкского государства. По мнению исследователей, город переживал упадок: сведения о епископах Колонии V–VI вв. практически отсутствуют. В VII в. епископы Колонии приобретают значительное влияние при дворе франкских королей из династии Меровингов. Они принимали участие в Соборах, выполняли важные государственные обязанности, участвовали в посольствах. Так, епископ Куниберт (около 623 – около 648 гг.) был ближайшим советником короля Дагоберта I (623–639 гг.), регентом при его несовершеннолетнем сыне Сигиберте III. Епископ Куниберт считается одним из составителей варварской Рипуарской правды (Lex Ribuaria). Он первым из епископов Колонии установил тесные отношения с майордомами Австразии (см. ст. Каролинги). Во второй половине VII в. Колония стала главным городом Австразии: Пипин Геристальский, майордом Австразии, Бургундии и Нейстрии, сделал её своей главной резиденцией. Согласно кёльнской «Королевской хронике», в 690 г. по приказанию Плектруды, жены Пипина, был построен храм на месте современной церкви Пресвятой Девы Марии на Капитолии (Санкт-Мария-им-Капитоль). По археологическим данным, храм воздвигли на остатках римского святилища. В VIII в. Кёльн стал важным миссионерским центром. Исследователям известно, что святой Бонифаций (Уинфрид) рассматривал город как возможный центр христианской миссии на германских землях. Однако статус митрополии кафедра получила лишь при Карле Великом в ходе упорядочения церковной организации во Франкской державе. В 794/795 г. титул архиепископа Кёльна получил Хильдебольд (787–818 гг.), друг и архикапеллан Карла Великого. Исследователям не вполне ясно, был ли этот титул персональным или предполагал учреждение папой Римским архиепископства Кёльна. Сведения о получении архиепископом Кёльна паллия от папы Римского исследователи относят к 858–860 гг., когда кафедру занимал архиепископ Гунтар (850–863 гг.). Суффраганами архиепископа Кёльна в эпоху Каролингов стали епископы Утрехта, Льежа, Миндена, Мюнстера и Оснабрюка; юрисдикция Кёльнской кафедры над Бременом оспаривалась (в середине IX в. Бремен был подчинён архиепископу Гамбурга). В состав архиепископства Кёльна вошёл Ахен, основная резиденция Карла Великого. Впоследствии юрисдикция над Ахеном использовалась архиепископами Кёльна как аргумент в пользу их преимущественного права на помазание в Ахене германских королей (это право оспаривал архиепископ Майнца). После Верденского раздела империи Карла Великого (843 г.) Кёльн вошёл в состав королевства Лотарингия.