16 июня 1922 г. митрополит Сергий (Страгородский), архиепископ Евдоким (Мещерский) и архиепископ Серафим (Мещеряков) подписали «Меморандум трёх», содержавший признание обновленческого Высшего церковного управления (ВЦУ). В рапорте на имя митрополита Сергия Афанасий писал, что не считает ВЦУ законным органом высшей церковной власти. Святитель запретил в священнослужении уполномоченного обновленческого ВЦУ протоиерея Михаила Тихонравова, в проповедях объяснял пастве пагубность обновленчества. Вокруг Афанасия сложилась группа духовенства, верного канонической церкви, в эту группу входили благочинный церквей Владимира протоиерей Алексей Владычин, настоятель Троицкой церкви, куда были переведены священнослужители и монахи из архиерейского дома, иеромонах Герман (Зацепин), игуменья владимирского Княгинина монастыря Олимпиада (Медведева). 23 сентября 1922 г. Афанасий был арестован по обвинению «в возмущении народных масс на религиозной почве» и приговорён к двум годам ссылки в Зырянский край. В начале мая 1923 г. этапирован в Вятку, затем в Зырянскую область. В Усть-Сысольске (современный Сыктывкар) встретился с Казанским митрополитом Кириллом (Смирновым) и до кончины митрополита Кирилла пребывал с ним в единомыслии и духовной близости. Во время зырянской ссылки Афанасий жил в Усть-Сысольске, сёлах Усть-Вымь, Усть-Кулом, Керчомъя. Сохранились его письма из ссылки к председателю Общества помощи политическим заключённым Екатерине Павловне Пешковой, в которых он описывал притеснения со стороны властей: запрет совершать богослужения, конфискацию богослужебных принадлежностей и др. Освободившись 2 февраля 1925 г., Афанасий вернулся во Владимир, в мае 1925 г. Владимирское ОГПУ взяло с него подписку, что он не будет управлять епархией. В сентябре 1925 г. присутствовал на епархиальном съезде, созванном обновленцами для подготовки к третьему «Поместному собору», с единственной целью обличить отступников и призвать их к покаянию. 15 января следующего года Афанасий был арестован по обвинению в антисоветской агитации и присвоении себе административных прав. Непосредственным поводом для ареста были его борьба против обновленцев и проповедь, произнесённая в день праздника Георгия Победоносца в селе Лыково Владимирской губернии, в которой он призывал не бояться преследований за веру. 15 марта 1926 г. дело было прекращено, и Афанасия освободили. В ноябре 1926 г. он был назначен управляющим Ивановской епархией. По свидетельству Афанасия, ему было предложено «добровольно уехать из епархии или прекратить управление церковными делами», но он отказался оставить вверенную паству. 15 января 1927 г. его арестовали как «участника группы епископов, использовавших Церковь в антисоветских целях», и спецконвоем перевезли в Москву. Причиной ареста было участие Афанасия в избрании митрополита Кирилла на патриарший престол путём письменного опроса архиереев, проводившегося осенью 1926 г. Во внутренней тюрьме на Лубянке Афанасий находился в камере с митрополитом Сергием. Афанасия приговорили к трём годам заключения в Соловецком лагере особого назначения (СЛОН).