В завещательном распоряжении от 6 декабря 1925 г. митрополит Пётр указал Иосифа третьим кандидатом на место Заместителя Патриаршего Местоблюстителя, после митрополитов Нижегородского Сергия (Страгородского; впоследствии Патриарх Московский и всея Руси) и Киевского Михаила (Ерамакова). Иосиф поддержал вступившего после ареста митрополита Петра в права Заместителя Местоблюстителя митрополита Сергия, когда освобождённый из-под ареста Ярославский митрополит Агафангел (Преображенский), названный по завещанию патриарха Тихона вторым после митрополита Петра кандидатом на должность Местоблюстителя Патриаршего престола, выпустил 18 апреля 1926 г. послание о вступлении в права Патриаршего Местоблюстителя. 26 августа того же года Иосиф был назначен митрополитом Ленинградским, о чём ему, в то время пребывавшему в Новгороде, сообщил приехавший туда Тихвинский архиепископ Алексий (Симанский; впоследствии Патриарх Московский и всея Руси Алексий I). Принял назначение «из послушания», но возражал против титулования «Ленинградский», называл себя «Петроградский». В Ленинграде с радостью восприняли назначение известного борца за веру, человека аскетической жизни и учёного архиерея на кафедру, вдовствующую с 1922 г., после казни Петроградского митрополита Вениамина (Казанского). Иосиф прибыл в Ленинград 11 сентября 1926 г., в канун праздника перенесения в город мощей князя Александра Невского. На всенощной в переполненном верующими Троицком соборе Александро-Невской лавры присутствовало 150 священнослужителей и восемь архиереев. Иосиф был тепло встречен паствой и клиром как достойный преемник митрополита Вениамина. Однако религиозный подъём, связанный с назначением Иосифа, и его большая популярность в Ленинграде вызвали обеспокоенность ОГПУ. Вечером 13 сентября Иосиф выехал из Ленинграда в Новгород, а оттуда был вызван в Москву, где состоялась его беседа с курирующим церковные дела в ОГПУ Евгением Александровичем Тучковым. Власти приняли решение не допустить возвращения Иосифа на новую кафедру, и он был выслан в Ростов, покидать город ему было запрещено. После ареста в ноябре того же года митрополита Сергия (Страгородского) Иосиф в соответствии с завещательным распоряжением митрополита Петра (Полянского) вступил в права Заместителя Патриаршего Местоблюстителя и, предчувствуя скорый арест, составил 8 декабря 1926 г. распоряжение о переходе преемства высшей церковной власти, назвав трёх преемников на случай невозможности исполнения им своих полномочий: архиепископов Свердловского Корнилия (Соболева), Астраханского Фаддея (Успенского) и Угличского Серафима (Самойловича). 16 декабря Иосиф был вызван ОГПУ в Москву и 29 декабря доставлен к месту ссылки в официально закрытый Моденский во имя Николая Чудотворца монастырь (в 35 км от Устюжны). Вернувшийся 30 марта 1927 г. к исполнению обязанностей Заместителя Патриаршего Местоблюстителя митрополит Сергий (Страгородский) 29 июля того же года совместно с созванным им Временным Священным Синодом издал «Декларацию» о лояльности к советской власти.