Поскольку Гангры некогда входили в состав провинции Галатия, и их община изначально подчинялась митрополии Анкиры, то ко времени Халкидонского собора епископы Гангр уже в течение нескольких десятилетий поставлялись напрямую из Константинополя. Собором было утверждено подчинение митрополии Гангр непосредственно Константинопольской патриархии. В дальнейшем число подчинённых Ганграм епископий постепенно сокращалось, что отражает стагнацию и упадок региона и города. Получили ранг архиепископий и были выведены из подчинения Гангр Помпейополь (VII в.) и Амастрида (X в.). В V–VI вв. Гангры несколько раз становились местом ссылки известных церковных деятелей. С конца 451 г. здесь находился в ссылке Диоскор Александрийский и здесь же 4 сентября 454 г. он умер. В 459–460 гг. в Гангры был сослан Тимофей II Элур, затем переведённый в Херсонес. Низложенный в 511 г. Константинопольский патриарх Македоний II был переведён в заключение в Гангры и умер здесь 25 апреля 516 г.; похоронен в церкви св. Каллиника. В 519 – начале 521 гг. в Ганграх находился в ссылке епископ Филоксен Иерапольский, смещённый императором Юстином; затем переведён в Филиппополь. Как место ссылки Гангры использовались и в средневизантийскую эпоху. Исследователям известно несколько имён опальных чиновников, находившихся здесь; среди них – препозит Иосиф Вринга, сосланный в 963 г. императором Никифором II Фокой. Гангры и их окрестности были опустошены персами в 608–609 гг., во время одного из их рейдов на Халкидон. Регион неоднократно подвергался нападениям арабов – в 712, 724, 742 гг. Гангры пришли в упадок и использовались, в основном, как крепость на пути с Анатолийского плоскогорья к побережью Чёрного и Мраморного морей. С Ганграми связана деятельность Филарета Милостивого, который в конце VIII в. был землевладельцем в окрестностях города. Внучка Филарета, которая славилась красотой, была избрана в жёны императору Константину VI. Из Пафлагонии происходил род императрицы Феодоры, жены императора Феофила (829–842 гг.), восстановительницы иконопочитания в Византии. Пафлагонцами были император Михаил IV (1034–1041 гг.), его влиятельный родственник препозит Иоанн Орфанотроф, а также император Михаил VI Стратиотик (1056–1057 гг.). С этими же местами связано происхождение рода Комнинов, чьим фамильным владением считалась крепость Кастамон, входившая в состав митрополии Гангр. В 1075 г. Гангры были захвачены турками-сельджуками, династией Данишмандидов. В 1101 г. попытка отвоевать город, предпринятая крестоносцами, осталась безуспешной.