1 декабря 1917 г. в связи с перемещением Рижского архиепископа Иоанна (Смирнова) на Рязанскую кафедру Иосиф был назначен временно управляющим Рижской епархией. Из-за оккупации немецкими войсками Риги епархиальное управление размещалось в городе Юрьеве (ныне Тарту, Эстония). 30 января (12 февраля) 1918 г. освобождён от временного управления Рижской епархией в связи с назначением временным управляющим епархией Ревельского епископа Платона (Кульбуша). 7 июля 1919 г. Иосиф был арестован Ярославской губернским ЧК «за попытку срыва вскрытия мощей в Ростовском уезде путём созыва верующих колокольным звоном». Содержался в Москве во внутренней тюрьме ВЧК, но в августе того же года освобождён без вынесения приговора. 22 января 1920 г. стал архиепископом Ростовским, викарием Ярославской епархии. После вскрытия 26 апреля того же года мощей Ростовских чудотворцев в Успенском соборе, Спасо-Иаковлевском Димитриевском и Авраамиевом монастырях Иосиф в знак протеста организовал и возглавил крестный ход. 8 июля был арестован по обвинению в антисоветской агитации и заключён в тюрьму в городе Ярославле. В Ростове собирались подписи под коллективными обращениями верующих за освобождение Иосифа. 26 июля 1920 г. постановлением Президиума ВЧК Иосиф был приговорён к двум годам заключения, но вскоре освобождён по кассации приговора (осуждён на год условно с предупреждением о запрете агитации). Вновь арестован в мае 1922 г. за противодействие изъятию церковных ценностей. 19 июля того же года на судебном процессе в Ростове приговорён Ярославским губернским революционным трибуналом к четырём годам лишения свободы. По предписанию председателя ВЦИК Михаила Ивановича Калинина от 5 января 1923 г. освобождён досрочно. После освобождения пребывал в угличском Алексеевском монастыре. В связи с арестом Ярославского митрополита Агафангела (Преображенского) Иосиф временно управлял епархией (до освобождения митрополита Агафангела в апреле 1926 г.). Категорически отвергая всякий диалог с обновленцами, внёс решающий вклад в преодоление в Ярославской епархии обновленческого раскола. В письме начальника Ярославского губотдела ГПУ от 8 августа 1923 г. говорилось: «Обновленческая группировка в настоящее время почти совершенно прекратила свою деятельность под натиском тихоновской группировки. ...Во главе тихоновской группировки стоит епископ Ростовский Иосиф. Данное лицо по Ярославской губернии в настоящее время весьма авторитетно не только среди духовенства и верующих, но и среди советских работников низового аппарата, и в особенности Ростовского уезда». В мае 1924 г. патриархом Тихоном Иосиф был назначен членом Временного Патриаршего Священного Синода и до 1926 г. управлял Новгородской и Старорусской епархией, периодически служил в новгородском Софийском соборе, ленинградском кафедральном храме Воскресения Христова (Спаса на Крови). Большое количество верующих собирали его архиерейские богослужения в ростовском Рождество-Богородицком соборе. После кончины Тихона Иосиф участвовал в архиерейском совещании РПЦ 12 апреля 1925 г., утвердившем Местоблюстителем Патриаршего престола Крутицкого митрополита Петра (Полянского).