В XII в. в Кастории начинается период расцвета, благоприятный для строительства и украшения церквей. Анна Комнина говорит о Кастории как о значительной крепости и о происхождении её названия от греческого слова, означающего «замок» (это мнение расходится с более поздней этимологией, связывавшей этот топоним с обитавшими в озере бобрами). В XII в. ал-Идриси назвал Касторию богатым городом. От комниновского периода сохранились украшенные фресками церкви преподобного Стилиана или преподобного Алипия, великомученика Димитрия Солунского в квартале Елеусы и святителя Николая Чудотворца Каснициса, а также росписи второго слоя в церкви св. Бессребреников и некоторое количество икон, происходящих из местных храмов. Эти материальные данные и упоминания в письменных источниках свидетельствуют о том, что Кастория в XII в. была не только богатым и многолюдным городом, но и значительным культурным центром, связанным с Охридом, Фессалоникой и Константинополем. После захвата Константинополя крестоносцами (1204 г.) Кастория сначала вошла в состав Второго Болгарского царства (хотя, как полагают исследователи, это произошло ещё в 1203 г.). После смерти болгарского царя Калояна Кастория была занята крестоносцами. В 1208 г. папа Римский Иннокентий III назначил в Касторию латинского епископа. Но вскоре Кастория была включена во владения Стреза (ум. в 1214 г., племянника болгарских царей Иоанна I Асеня и Калояна), центром которых был город Просек. В 1215/1216 г. Касторию завоевал эпирский деспот Феодор Комнин Дука Ангел. Поскольку некоторые епархии Охридской архиепископии были переведены болгарами в юрисдикцию Тырновского архиепископа и греческие архиереи заменены болгарскими, то после присоединения этих территорий к Эпирскому деспотату возник спор об их каноничности. По распоряжению деспота Феодора между 1217 и 1220 гг. был созван архиерейский Собор в Охриде под председательством архиепископа Димитрия II Хоматиана. На Соборе греческое духовенство возглавлял не названный по имени Касторийский епископ, а болгарское – Могленский (Меглинский). Собор вынес примирительное решение: поставленные в Болгарии епископы будут заменены, но рукоположенные ими священники и диаконы продолжат служение, однако на них будет наложена епитимия. После возвращения Кастории под власть болгарского царя Иоанна II Асеня (1218–1241 гг.) Касторийская епископия осталась в юрисдикции Охридской архиепископии, поскольку её нет среди перечисленных в Синодике Болгарской церкви епархий, напрямую подчинявшихся Тырновскому патриарху. Вскоре после смерти Иоанна II Асеня Кастория вошла в состав Эпирского деспотата, но присутствие болгар в городе засвидетельствовано ктиторскими портретами болгарского царя Михаила I Асеня (1246 – 1256/1257 гг.) и его матери Ирины, дочери эпирского деспота Феодора, на западной наружной стене церкви св. Таксиархов у Митрополии. Около 1252 г. Кастория была взята никейским императором Иоанном III Ватацем, но около 1257 г. отвоёвана эпирским деспотом Михаилом II. В 1259 г. армия Михаила VIII Палеолога, выиграв битву на Пелагонийской равнине недалеко от Кастории против альянса войск Михаила II, ахейского князя Вильгельма II Виллардуэна и правителя Сицилии Манфреда, осадила город и присоединила его к византийским владениям.