Незначительный, по существу, был эпизод, но слухи проникли за стены Академии, обрастали домыслами и дерзкими выпадами. Всё это собиралось и было отправлено императору в Верону, куда он отъехал на время. Конечно, «Академический случай» возмутил его до предела. В своём указе Сенату император Александр I повелел «за наглый поступок» отрешить А.Ф. Лабзина от службы, а военному генерал-губернатору Михаилу Андреевичу Милорадовичу приказал срочно выслать его из столицы в деревню. Но своей деревни у А.Ф. Лабзина не было, и ему для ссылки выбрали заштатный симбирский городишко Сенгилей. Мучительно началась, а затем и не менее мучительно продлилась сама ссылка. Припадки падучей, скорбная жизнь в чуждом городке, неустроенность и бедственный быт был скрашен только дружеской помощью Петра Петровича Тургенева, местного помещика и старого друга. Лишь к середине 1823 г. жизнь изгнанника улучшилась: его родная сестра добилась в столице разрешения поменять место ссылки на Симбирск. Там через короткое время А.Ф. Лабзин ожил и свободнее вздохнул. Симбирское общество, возглавляемое предводителем дворянства князем Михаилом Петровичем Баратаевым, симпатизировало А.Ф. Лабзину и было одного с ним взгляда на духовную жизнь человека. Его боготворили, оковы мученичества как бы упали. Тайные собеседования с друзьями, встречи в сокровенном усадебном храме в Киндяковке, продолжительный отдых и лечение на минеральных водах в Ундорах генерала Ивашева, ласковый уход благоприятствовали выздоровлению. А.Ф. Лабзин подолгу пишет письма друзьям, с нетерпением ждёт почту. Старается издать книгу в городе Курмыш. Тема та же, мистическая. Пробудился интерес к поэзии, к народным песням. Молодой его почитатель Михаил Александрович Дмитриев, племянник знаменитого Ивана Ивановича Дмитриева, впоследствии напишет проникновенные воспоминания о маститом изгнаннике. Но силы Великого Мастера иссякали. 26 января 1825 г. А.Ф. Лабзин скончался. Похоронен в Симбирске, при Покровском монастыре. На его могиле поставили каменный крест со стихотворной эпитафией на медной табличке. Текст сочинил всё тот же М.А. Дмитриев. При советской власти обитель и некрополь погибли. Но память об оригинальном писателе сохранилась. О симбирской ссылке А.Ф. Лабзина, которая совпала по времени со ссылкой Александра Сергеевича Пушкина в Михайловское, пишут многие краеведы, появились и крупные труды. Так, в Самаре сравнительно недавно издана серьёзная монография Юлии Сергеевны Васильевой «А.Ф. Лабзин в общественной жизни столиц и провинции конца XVIII – первой четверти XIX веков». Начали переиздавать книги его переводов.