26 декабря того же года, после безуспешных переговоров с Заместителем Патриаршего Местоблюстителя ленинградских сторонников Иосиф, викарные епископы Гдовский Димитрий (Любимов) и Копорский Сергий (Дружинин) подписали акт отхода от митрополита Сергия и прекращения с ним канонически-молитвенного общения. Это решение получило предварительное одобрение Иосифа. Во второй половине декабря он писал епископу Димитрию: «Одобряю ваш шаг, присоединяюсь к вам, но, конечно, помочь вам более существенно лишён возможности». После запрещения Синодом епископов Димитрия и Сергия в священнослужении Иосиф в письме от 7 января 1928 г. вновь одобрил отход своих викариев от митрополита Сергия и призвал их игнорировать распоряжения высшей церковной власти. 2 февраля в Ростов прибыли с увещеванием от Синода архиепископы Вологодский Сильвестр (Братановский) и Самарский Анатолий (Грисюк), однако Иосиф не признал своей виновности в церковных нестроениях и вскоре вместе с викарным Ростовским епископом Евгением (Кобрановым) подписал составленный Ярославским митрополитом Агафангелом (Преображенским) и его викариями акт отхода от митрополита Сергия. До широкого распространения обращения митрополита Агафангела Иосиф был вызван в Ярославль и допрошен в местном отделе ОГПУ вместе с митрополитом Агафангелом прибывшим из Москвы Е.А. Тучковым, который заверил митрополита Агафангела, что государственные власти не будут рассматривать его выступление против курса митрополита Сергия как политическое и не станут вмешиваться в церковные дела. В это же время Иосиф объявил о согласии возглавить отделившуюся от митрополита Сергия часть ленинградской паствы и всех других, последовавших их примеру. В послании ленинградской пастве от 8 февраля Иосиф поручил временное управление епархией епископу Димитрию (Любимову) и призвал возносить за богослужением и своё имя как правящего архиерея вслед за именем Патриаршего Местоблюстителя митрополита Петра. В конце февраля Иосиф был вновь задержан, доставлен в Москву, после чего выслан в Моденский монастырь. 29 марта 1928 г. Заместитель Патриаршего Местоблюстителя митрополит Сергий (Страгородский) и Временный Синод РПЦ выступили с опровержением доводов Иосифа о незаконности произведённых митрополитом Сергием перемещений ряда архиереев на другие кафедры. Митрополит Сергий и Синод объясняли эти перемещения пользой для церкви, поскольку перемещённые архиереи не имели возможности управлять своими кафедрами, но могли быть призваны к церковной работе в иных местах.