По поводу заявлений Иосифа о неканоничности его назначения на Одесскую кафедру митрополит Сергий и Синод указывали, что оно не отличается от предшествовавшего назначения Иосифа на Ленинградскую кафедру, против которого тот не возражал. 11 апреля постановлением Заместителя Местоблюстителя и Синода Иосиф вместе с другими архиереями, вышедшими из подчинения митрополита Сергия, был уволен на покой с преданием каноническому суду архиепископов и запрещением в священнослужении. В вину Иосифу было поставлено то, что он не подчинился данному высшей церковной властью назначению на Одесскую кафедру, а его отказ от назначения способствовал смуте и расколу в Ленинградской епархии. Другим пунктом обвинения стали открытые заявления Иосифа об отходе от митрополита Сергия и призывы к объединению всех архиереев, отделяющихся от Заместителя Местоблюстителя. В середине апреля 1928 г. Иосиф обращался к Е.А. Тучкову с письменной просьбой снять с него обвинения и допустить в Ленинград, но его положение не изменилось. Надзор за Иосифом в Моденском монастыре не был строгим и не очень ограничивал жизнь архиерея и братии. Иосиф жил в келье со спаленкой, окна которой выходили во двор на храм, принимал приезжавших и паломников, духовных детей, родственников, многочисленных посетителей. Ему позволяли служить по великим праздникам в какой-либо из трёх церквей обители. Оставаясь в ссылке, Иосиф не мог руководить возглавляемым им иосифлянским течением в Русской церкви. Тем не менее, к нему постоянно ездили курьеры, привозившие известия о событиях, указы на подпись, материальную помощь, он передавал через них практические указания, письма, разъяснения и архипастырские советы. Лично обращавшихся к нему Иосиф обычно направлял к назначенному им временным управляющим епископу Димитрию (Любимову; 7 января 1929 г. возведён Иосифом в сан архиепископа) с просьбами решить их вопросы. Епископ Димитрий, в свою очередь, поддерживал постоянную связь с Иосифом, информировал его о событиях. По словам Иосифа, его заместителю «предоставлена была полная свобода управления до того, что он позволял себе действовать даже вопреки моим ожиданиям и определённо выраженным желаниям и советам. Я не претендовал в таких случаях, оправдывая такие поступки епископа Димитрия тем, что на месте ему виднее большая или меньшая целесообразность такого или иного решения. Во многих случаях, когда он спрашивал моего совета, я так и отвечал ему, предлагая на месте обсуждать дело с более опытными лицами из духовенства, если он не надеется на свой опыт и рассуждение». Иосиф призывал епископа Димитрия к осторожности с вовлечением в движение новых людей, чтобы избежать провокаций.