После захвата обновленцами новгородского Антониева монастыря Иосиф проживал у родственников в Новгороде на иждивении духовных чад. Служил в единственном православном новгородском храме и в церкви, не подчинившейся Высшему церковному управлению, в Старой Руссе. Дважды подвергался арестам ОГПУ: 2–18 октября 1922 г. и 16–25 января 1923 г., оба раза был освобождён под подписку о невыезде с обязательством еженедельно отмечаться в ОГПУ. Иосиф также получил разрешение на поездки для служения и проповедей, несмотря на противодействие обновленцев. Он был оплачиваемым лектором при новгородском «Культпросвете», принимал участие в религиозных диспутах. В связи с освобождением Старорусской кафедры постановлением местных церковных советов был предложен в качестве кандидата в епископы. 27 мая 1923 г. в Юрьеве новгородском мужском монастыре тайно хиротонисан во епископа Старорусского, викарного епископа Новгородской епархии. Хиротонию совершили Бирский епископ Трофим (Якобчук), Новгородский викарный, Валдайский епископ Иосиф (Невский). Тайная хиротония была признана законной патриархом Тихоном, который назначил Иосифа также временно управляющим Новгородской епархией. 25 июля того же года был вызван в Москву ОГПУ, после прибытия 27 июля арестован, отправлен в дом заключения ОПГУ, затем переведён в Бутырскую тюрьму. 24 августа в административном порядке приговорён к двум годам ссылки в Нарымский край. Переведён в Таганскую тюрьму, откуда по этапу направлен к месту ссылки. Продолжал считаться епископом Старорусским. После прибытия был прикреплён к центральному пункту в селе Колпашево (ныне город в Томской области), проживал в близлежащих деревнях. 24 августа 1925 г. освобождён, 25 сентября того же года вернулся из ссылки в город Старая Русса. 13 октября 1925 г. по благословению Патриаршего Местоблюстителя Петра (Полянского) вступил в управление Старорусским викариатством. 25 ноября 1925 г. – 25 января 1926 г. находился в заключении в Новгородском исправдоме, направлен в психиатрическую клинику для экспертизы. Отпущен под подписку о психиатрическом лечении. В сентябре 1926 г. назначен епископом Витебским и Полоцким, от назначения отказался. 14 июня – 9 июля 1927 г. находился в заключении в Старорусском исправдоме, согласно автобиографии Иосифа, в связи с начавшимися арестами после убийства епископа Поликарпа (Войкова) в Польше. Освобождён под подписку о временном невыезде. 30 августа 1930 г. назначен управляющим Вятской епархией с сохранением титула «епископ Старорусский», но с передачей управления викариатством другому архиерею. От всех назначений отказался, желая остаться в Старой Руссе, с его слов, видел в назначениях интриги против него. На прошение об отказе принять кафедру Иосифу было предписано выехать в двухнедельный срок и доложить о прибытии в патриархию. В ответ Иосиф просил уволить его на покой, что и было сделано в связи «с нахождением такого настроения Епископа не к созиданию Церкви Божией». 29 апреля 1931 г. Иосиф был назначен епископом Орловским. Он опять выразил отказ от назначения, за что предполагалось подвергнуть его прещению в служении. Однако, согласно решению консилиума врачей о необходимости его лечения в Старой Руссе и личному прошению, освобождён от назначения с предоставлением права служения только в одной старорусской Георгиевской церкви. Для решения этого вопроса ездил в Москву в патриархию.