В период, когда Зосима занимал митрополичий престол, трагически завершился конфликт между великим князем Иваном III и его братьями удельными князьями Андреем Васильевичем Угличским и Борисом Васильевичем Волоцким. 20 сентября 1491 г. в нарушение крестного целования в Москве был «поиман» князь Андрей. Николай Сергеевич Борисов справедливо полагает, что арест брата великого князя не мог совершиться без согласия митрополита, ранее давшего князю Андрею гарантии неприкосновенности. Только в малодостоверном пересказе Василия Никитича Татищева есть упоминание о попытке митрополита воспользоваться правом печалования. 6 ноября 1493 г. князь Андрей умер в заточении, и, возможно, эта смерть стала одной из причин падения авторитета митрополита и вместе с другими обстоятельствами могла способствовать его удалению с кафедры. В Псковских летописях зафиксирована такая последовательность событий: «В лето 7002. Преставися князь Андрей в поимании. Того же лета преставися князь Борис Васильевич Волоцкой. Того же лета сведень с митрополии Изосима». В 1493/1494 г. сгорел митрополичий двор в Москве, в том же году на нём было сооружено «три кельи камены с подклеты». 17 мая 1494 г. Зосима оставил митрополичий престол. Ранние летописи связывают его уход с волей великого князя или с собственным желанием архиерея. Вологодско-Пермская летопись сообщает: «Послал сослал князь великии Зосиму митрополита с митропольи». Владимирский летописец указывает на добровольное оставление Зосимом кафедры. Согласно Типографской летописи, «тоя же весны, мая 17, митрополит Зосима остави митрополию не по своей воли и съиде с митропольи в келью на Симаново в монастырь и оттоле кь Троици в Сергиевь монастырь». Дискредитирующие Зосиму известия содержатся в Софийской второй летописи (отражающей свод 1518 г., в котором представлена официальная точка зрения митрополичьей кафедры начала XVI в.): «Митрополит Зосима оставил митрополию не своею волею, но непомерно питья дръжашеся и о Церкви Божией не радяше». В «Книге степенной царского родословия» сообщается, что Зосима был лишён митрополии «за некое преткновение». Александр Александрович Зимин связывал отставку Зосимы с отсутствием в Москве в мае 1494 г. князей Василия Ивановича Патрикеева, Семёна Ивановича Ряполовского и дьяка Ф.В. Курицына. В повольной грамоте на поставление митрополита Симона (хиротонисан во митрополита в сентябре 1496 г.) архиепископ Геннадий писал: «Отец Зосима митрополит… оставил стол Русскиа митрополиа и, пришед в святую великую соборную церковь, пред всеми омофор свой на престоле положил, и свидетеля на то Господа Бога нарицая, яко невозможно ему ктому святительская действовати, ни митрополитом нарицатися, и отойде в монастырь в смиренно иноческое жительство». Однако есть свидетельства того, что и после оставления кафедры Зосима продолжал считать себя первосвятителем. После смещения Зосима жил в Симоновом монастыре, затем в Троице-Сергиевом монастыре, где около декабря 1495 г. причащался по чину первосвятителя «на орлеце во всем святительском чину», что противоречило канонам и существовавшей практике.