Между наместниками тотчас же начались военные действия. В июне 1352 г. Османы опять действовали как союзники Иоанна VI Кантакузина, который двинул войско на помощь сыну Матфею, блокированному в Адрианополе Иоанном V. Турки разорили Пифион близ Дидимотиха. Осенью патриарх Каллист I безуспешно пытался погасить конфликт между императорами. В том же году сын Орхана Сулейман занял все крепости Фракии; Византия не имела сил для сопротивления. В начале 1353 г. Иоанн VI Кантакузин предъявил патриарху Каллисту I требование короновать его сына Матфея и не поминать больше династию Палеологов за литургией, т.е. освятить авторитетом церкви окончательный переход власти к Кантакузинам. Несмотря на уговоры, патриарх отверг требования, покинул резиденцию и удалился в монастырь в Константинополе, откуда продолжал исполнять своё служение. Иоанн VI Кантакузин безуспешно пытался уговорить патриарха Каллиста I вернуться, посылая к нему видных епископов, а также Филофея Коккина (Константинопольский патриарх в 1353–1354, 1364–1376 гг.). Для обоснования прав Иоанна VI Кантакузина анонимный автор написал специальный трактат, где подчёркивал, что патриарх не имеет права выбирать императора; выбор осуществляют «армия, сенат и народ», а патриарх – «священник», совершающий коронацию. Вскоре Каллист I был официально низложен и бежал сначала к латинянам в Галату, а затем к Иоанну V на остров Тенедос, где опубликовал многочисленные обвинения против Иоанна VI Кантакузина и константинопольского клира. Обвинительная речь Каллиста I против Иоанна VI Кантакузина, переданная Никифором Григорой, среди прочих упрёков содержала и упоминание о денежных выплатах турецким наёмникам Орхана в 1347 г. из сумм, поступивших на ремонт собора Святой Софии от московского князя Симеона Ивановича Гордого. В феврале 1354 г. Матфей Кантакузин был коронован в храме Успения Богородицы во Влахернах (Константинополь) Иоанном VI Кантакузином и патриархом Филофеем Коккином. Переломным для экспансии Османов в Европу стал 1354 год, когда они захватили покинутый населением в результате землетрясения город Галлиполи, заселили его и превратили в свой опорный пункт. В 1354 г. в плен к османам попал митрополит Фессалоникийский Григорий Палама, который должен был посредничать на переговорах между Иоанном VI Кантакузином и Иоанном V. Патриарх Филофей Коккин подробно сообщает, почему у Иоанна VI Кантакузина не было денег на выкуп Григория Паламы. Отречение Иоанна VI Кантакузина в 1354 г. помешало осуществлению этих планов; Григорий Палама был выкуплен сербами в июле 1355 г. 22 ноября 1354 г. Иоанн V с помощью генуэзского корсара Франческо Гаттилузи проник в Константинополь с небольшим отрядом, что вызвало народное восстание против Кантакузинов.