После смерти Бриенния (1236 или 1237 г.) повзрослевший Балдуин II неоднократно отправлялся на Запад и много лет провёл там в тщетных поисках защиты от никейских императоров и других противников Латинской империи, боровшихся за отвоевание земель Византийской империи. Развитие византийской «реконкисты» привело к тому, что эпирский правитель Феодор Ангел Комнин Дука овладел всей Фессалией, Охридом и другими городами Македонии, а в 1224 г. захватил Фессалоникийское королевство и провозгласил себя императором ромеев. В 1224 г. его соперник никейский император Иоанн III Дука Ватац разгромил войска Латинской империи в битве при Пиманионе и изгнал латинян почти со всех земель Малой Азии, за исключением Никомидии и её округи. Другим соперником Латинской империи оставалась Болгария, царь которой Иоанн II Асень разгромил и пленил Феодора Ангела в битве при Клокотнице в 1230 г. и быстро захватил все земли Фракии и Южной Македонии вплоть до Адрианополя. В ходе военных кампаний 1242–1246 гг. эти земли перешли под власть никейского императора. В 1259 г. в битве при Пелагонии никейские войска разгромили союзную армию Эпирского царства и Морейского князя Гийома Виллардуэна, вассала императора Латинской империи. Никейцы получили возможность наступать с суши на Константинополь, и лишь помощь венецианского флота и отрядов латинских наёмников позволяла латинянам ещё некоторое время удерживать город. Когда в июле 1261 г. венецианский флот отплыл в Чёрное море к острову Дафнусий, подошедший к Константинополю отряд под командованием никейского военачальника Алексея Стратигопула без боя взял город через открытые для него местными жителями ворота. Латинская империя пала. Латиняне и венецианцы в панике бежали из города. Алексей Стратигопул разрешил выпустить их из города и позволил им отплыть на венецианских судах. Последний император Латинской империи Балдуин II стал её первым титулярным императором, лишённым своих владений. Титул императоров Латинской империи в изгнании сохранялся за потомками рода Куртене и князей Ахайи до 1383 г. В 1204 г. капитул каноников Святой Софии, состоявший из венецианцев, избрал Константинопольским патриархом представителя знатного венецианского рода Томмазо Морозини. Римский папа Иннокентий III (1198–1216 гг.), несмотря на неканонический характер выборов, который вызвал его недовольство, в марте 1205 г. утвердил их, признал возникший таким образом латинский Константинопольский патриархат. Тем не менее, впоследствии папа настойчиво стремился расширить прерогативы Римской курии в его управлении и в избрании последующих патриархов. Константинопольский патриархат в годы существования Латинской империи был полностью подчинён папам и находился в юрисдикции Римско-католической церкви. Таким образом, в Латинской империи возникла ситуация фактической церковной унии. Уния не провозглашалась какими-либо официальными соглашениями Западной и Восточной церквей, но навязывалась на практике православному местному населению со стороны католического правящего меньшинства, которое считало необходимым насаждать свои церковные порядки по праву завоевателей.