Вскоре он стал широко известен как истинный подвижник, прозорливец и мудрый советчик. 21 апреля 1931 г. Афанасий был арестован в деревне Лукьяновке под Орлом по обвинению в том, что «вёл среди верующей массы агитацию против мероприятий советской власти и партии на селе», и помещён в орловскую тюрьму. В сентябре 1931 г. было сфабриковано дело «группировки церковников», которая якобы вела под руководством Орловского епископа Даниила (Троицкого) «антиколхозную и антисоветскую агитацию», но, неожиданно для орловских обвинителей, 28 октября 1931 г. уполномоченный Воронежского полномочного представительства ОГПУ распорядился прекратить дело и освободить обвиняемых. В 1932 г., вероятно, по указанию НКВД, Афанасия забрали в орловскую областную психиатрическую больницу. К нему началось паломничество, медперсонал этому не препятствовал, т.к. почитатели старца приносили с собой продукты, которые Афанасий раздавал больным и врачам. В конце 1941 – начале 1942 г. Афанасий вышел на свободу и поселился у дочери Н.В. Прозоркевича. К старцу стал ходить народ, что всерьёз обеспокоило власти, и в апреле 1948 г. он был вновь помещён в орловскую психиатрическую больницу. В истории болезни Афанасия отмечено, что он спокоен, приветлив, добродушен, охотно ходит на общие работы, помогает медперсоналу, в концертах самодеятельности играет на скрипке и гитаре. Признаки душевной болезни врачи видели лишь в том, что он символически толковал явления природы и быта. Свидания Афанасия с духовными детьми, поток писем к нему вызывали беспокойство руководства больницы, и Афанасий был переведён в психиатрическую больницу Воронежа «Орловку», куда прибыл 2 октября 1950 г. 18 ноября старец был выписан «на попечение дочери» – Ангелины Васильевны Дмитриевской, духовной дочери Афанасия, но 7 декабря 1950 г. по доносу главврача орловской психиатрической больницы вновь был помещён в орловский психоприёмник. С 13 сентября 1951 г. по май 1955 г. Афанасий находился в томской психиатрической больнице, откуда был вновь вызволен А.В. Дмитриевской, оформившей над ним опекунство. Афанасий гостил у своих духовных детей в Москве, Риге, Брянске, селе Михайловском Псковской области, в 1957 г. поселился вместе с А.В. Дмитриевской на станции Снежетьская Брянской области. Афанасий был похоронен на Крестительском кладбище в Орле при большом стечении народа. На могиле блаженного служат панихиды и по молитвам к Афанасию происходят исцеления.