27 декабря 1930 г. арестован вместе с епископами Сергием (Дружининым), Василием (Докторовым, Дохтуровым) и большой группой священнослужителей и мирян по обвинению в антисоветской деятельности и агитации, в частности, в выступлениях против колхозного строительства. 8 октября 1931 г. приговорён Коллегией ОГПУ по делу Истинно православной церкви к пяти годам лагерей. Отбывал срок заключения в Сибирском исправительно-трудовом лагере (город Мариинск Новосибирской (ныне Кемеровской) области) и на строительстве Беломорско-Балтийского канала (Белбалтлаг) – на земляных работах и в лагерной канцелярии, где заболел ревматизмом. 10 сентября 1934 г. было принято решение об освобождении А.А. Кибардина досрочно, «по зачётам» за работу на строительстве канала, но вышел он на свободу только 27 февраля 1935 г. Проживал в Новгороде, с 1936 г. – в ссылке в Мурманске, затем в Мончегорске работал бухгалтером Горнорудного управления Мончегорского лагеря НКВД. 11 июля 1941 г. А.А. Кибардин, беспокоясь о своей больной жене, приехал к ней в город Пушкин, 17 сентября занятый немецкими войсками. Жена была в тяжёлом состоянии, поэтому А.А. Кибардин не эвакуировался и оказался на оккупированной территории. В феврале 1942 г. выехал с женой в Гатчину, в марте 1942 г. переехал в село Ястребино Осьминского (ныне Волосовского) района Ленинградской области, где провёл богослужение в церкви Николая Чудотворца. С 7 апреля 1942 г. служил в церкви Покрова Пресвятой Богородицы деревни Козья Гора (ранее главный храм Покровского Поречского женского монастыря). Также окормлял ряд соседних приходов, фактически исполняя обязанности благочинного для значительной части Осьминского района; часто ездил на богослужения в деревни Дретно, Велетово, Подлесье, Овсище, Псоедь, Лесище, село Самро и др.; занимался возрождением храмов, проповедовал, призывая посещать церковь, молиться, исполнять церковные обряды; большое внимание уделял работе с молодёжью, крестил детей и подростков. С июля 1942 г. оказывал помощь партизанам деньгами и продуктами, при этом был вынужден неоднократно вступать в контакт с немецкой администрацией. Территория, на которой служил А.А. Кибардин, формально находилась в ведении Псковской миссии, но до осени 1943 г. никаких связей с ней не было. 9 сентяьря 1943 г. управляющий миссией протоиерей Кирилл Иванович Зайц сообщил А.А. Кибардину о «ликвидации иосифлянства» и предложил перейти в подчинение миссии. 11 сентября 1943 г. в псковском соборе на исповеди у протоиерея Кирилла Зайца А.А. Кибардин принёс покаяние и был утверждён старшим священнослужителем для нескольких церквей: в Козьей Горе, Пенине, Старополье и др. После этой поездки никаких дальнейших отношений у А.А. Кибардина с Псковской миссией не было. В октябре 1943 г. немецкая администрация предложила А.А. Кибардину эвакуироваться, но он категорически отказался. Через несколько дней немецкие войска начали уничтожение деревень и насильственную эвакуацию населения. 6 ноября 1943 г. карательный отряд пришёл в Козью Гору, но А.А. Кибардину удалось отстоять храм и прилегающие дома.