Церковь святителя Афанасия Великого «ту Музаки» была построена и расписана в 1383/1384 г. по заказу албанских правителей города, братьев Стои и Феодора Музаки, и иеромонаха Дионисия. Касторийские храмы второй половины XIV в., как и современные им храмы в Охриде и других областях Македонии представляли собой, как правило, скромные по размерам и облику постройки частных лиц. Среди них преобладают однонефные церкви из неотёсанных камней или из камня и кирпича, с деревянными перекрытиями, почти лишённые украшений. В их росписях исследователи видят определённую стилистическую линию, преобладающую в это время во всей Охридской архиепископии, ориентированную на известные образцы неклассического, экспрессивного стиля. Большое число близких друг к другу ансамблей второй половины XIV в. позволяет исследователям предполагать наличие местной мастерской, работавшей как в Кастории, так и за её пределами. Об участии в это время Кастории в культурной и духовной жизни Византии свидетельствуют также письменные источники. Так, из соборного определения святителя Филофея Коккина, патриарха Константинопольского (1368 г.), и из его Похвального слова святителю Григорию Паламе исследователям известно, что уже тогда этот святой особо почитался в Кастории, где ему был посвящён храм и торжественно праздновался день его памяти. В османский период крепость и близлежащие кварталы заняли мусульмане. Христианские общины стали постепенно смещаться к Апозари. В конце XIV – XV вв. произошло объединение балканских территорий под единой властью, что способствовало развитию торговли, культурных связей и художественных традиций в Кастории. В первые десятилетия османского господства как в новых, так и в старых частях города продолжали возводить и расписывать небольшие храмы: св. Иоанна Предтечи, Трёх святых (мучеников Гурия, Самона и Авива), апостола Андрея Первозванного «ту Русули» и др. На рубеже XV и XVI вв. в Кастории работала крупная местная мастерская, которой атрибутируют фрески в храмах святителя Николая Чудотворца (монахини Евпраксии) 1485/1486 г., святителя Николая Чудотворца «тис Феологинас», святителя Николая Чудотворца «ту Магалиу» 1504/1505 г. и многие другие ансамбли как в Кастории, так и за её пределами, на обширной территории от Метеор до Молдавии. В живописи Кастории XVI–XVII вв. исследователи выделяют много общих черт с произведениями мастеров Северо-Западной Греции и критской школы. В росписях и иконах всё больше проявлялось влияние западного искусства, которое было обусловлено торговыми связями с Венецией и городами побережья Адриатического моря. В это время Кастория по-прежнему входит в состав Охридской архиепископии, но с 1532 г. становится митрополией. На архиерейском Соборе Охридской архиепископии в 1529 г. не присутствовали Касторийский епископ и семь других епархиальных архиереев, что, по мнению Ивана Снегарова, могло быть связано с конфликтом грекоязычных и славяноязычных иерархов. Из послания Александрийского патриарха Иоакима I к Охридскому архиепископу Прохору (около 1530 г., сохранилось в славянском переводе) исследователям известно, что Касторийский архиерей вместе со своими сторонниками «смущал Церковь» (Охридскую архиепископию). В архиерейском Соборе 1532 г. приняли участие все иерархи, кроме Касторийского. В середине XVII в. турецкий путешественник Эвлия Челеби насчитал в Кастории 70 церквей, а вне стен крепости – 16 христианских кварталов, еврейский и три мусульманских.