После суда в 1936 г. устранился от управления епархией и не совершал богослужений, в это время в Астраханской епархии оставался действующим лишь один храм. 27 апреля 1939 г. временно уволен на покой, в октябре 1939 г. назначен с титулом архиепископа Куйбышевского на место приходского священника Покровской церкви в Куйбышеве – единственного открытого канонического прихода, где была сосредоточена вся легальная церковная жизнь епархии. Прежнему священнику паства храма не доверяла. С приездом Андрея нестроение в приходе прекратилось. Служил Андрей ежедневно, накануне праздничных дней по два всенощных бдения. Жил в крайней бедности, подвергался оскорблениям и даже побоям со стороны хулиганов-атеистов. Будучи аполитичным и осторожным, избегал опасных знакомств, никого не принимал у себя дома. Тем не менее, подвергся аресту, с 13 июля по 7 сентября 1941 г. был в заключении, освобождён в связи с прекращением дела. С 25 сентября 1941 г. – архиепископ Куйбышевский и Сызранский, с 9 декабря 1941 г. – Саратовский. К 1941 г. в Саратовской епархии не осталось ни одного действующего храма. По ходатайству Андрея в 1942 г. в Саратове был открыт кафедральный Троицкий собор, ранее принадлежавший краеведческому музею. 28 мая 1942 г. в связи с назначением архиепископа Горьковского Сергия (Гришина) на Харьковскую кафедру Андрей был переведён в Горьковскую и Арзамасскую епархию, но, поскольку назначение архиепископа Сергия осуществить не удалось, 13 июля 1942 г. Андрей был оставлен в Саратове. С 26 августа 1942 г. – архиепископ Казанский. Проявил особое попечение о сборе средств раненым и солдатским сиротам, за что отмечен правительственными наградами. В декабре 1943 г. – марте 1944 г. участвовал в зимней сессии Священного Синода РПЦ. Патриарх Сергий поручил ему рассматривать прошения о назначении на приходы священнослужителей, которые в прошлом отрекались от священства. Вынося суждения, Андрей обнаруживал уместную строгость, в частности, не одобрял архиерейской хиротонии епископа Питирима (Свиридова), которого он знал как не имевшего должной стойкости. 28 января 1944 г. Андрей был назначен на Днепропетровскую и Запорожскую кафедру, которую занимал до своей кончины. В Днепропетровской епархии запретил в священнослужении клириков, имевших неканоническое поставление (от самочинных и раскольнических лжеархиереев). Строго относился к выбору кандидатов на священные степени. Сумел сохранить несколько сот приходов епархии и женский монастырь, открытые во время немецкой оккупации. Много проповедовал, его слово производило неизгладимое впечатление на паству своей искренностью, теплотой и тем, что за его поучениями стоял личный духовный опыт. Погребён в ограде Троицкого собора города Днепропетровска (ныне Днепр).