В 1821 г. начались земляные работы. В 1823 г. стали добывать камень для строения, но его крупные партии так и не смогли доставить в Москву. Кроме того, А.Л. Витберга подвели незнание архитектурной практики и деловая неопытность. Чиновники и подрядчики, действуя от имени автора проекта, быстро разворовали средства, отпущенные на сооружение храма. Веривший в кристальную честность А.Л. Витберга император Александр I умер, после чего зодчего обвинили в растрате и отстранили от руководства, постройку законсервировали. В 1826 г., согласно рескрипту императора Николая I, был создан «Искусственный комитет», задачей которого стало выяснение возможности осуществления проекта А.Л. Витберга. Вошедшие в состав комитета петербургские архитекторы во главе с инженер-генералом Карлом Ивановичем Опперманом сделали вывод о непригодности грунтов Воробьёвых гор для постройки храма. Строительные работы в 1826 г. были прекращены. В 1827 г. комиссию по строительству храма ликвидировали. При новом императоре мистические и надконфессиональные идеи не нашли покровителя, классицистический проект А.Л. Витберга уже не мог быть осуществлён в 1830–1840 гг., когда укрепилось убеждение, что создание национального храма-памятника может быть осуществлено лишь в национальных формах. В 1830 г. был объявлен новый конкурс на создание проекта храма, результатом которого стало утверждение в 1832 г. проекта Константина Андреевича Тона. Судебное разбирательство по делу о растрате средств, выделенных на постройку храма, длилось восемь лет, в 1835 г. имущество А.Л. Витберга было конфисковано, архитектор сослан в Вятку. Здесь он создал проект собора во имя великого князя Александра Невского (1838 г.) – второе программное сооружение архитектора. Основой проекта стал один из вариантов храма Христа Спасителя – пятикупольная ротонда с четырьмя башнями-колокольнями. Византийский стиль собора сближал это сооружение с произведениями архитекторов романтизма – Михаила Доримедонтовича Быковского, К.А. Тона, Александра Павловича Брюллова. А.Л. Витберг в этот период был убеждён в возможности выражения национальной идеи с использованием греческих форм. Собор в Вятке был возведён в 1839–1864 гг. (снесён в 1930 гг.). Здесь же А.Л. Витберг построил несколько не сохранившихся впоследствии зданий (в городском Александровском саду сохранилась чугунная решётка с воротами и две беседки). В 1840 г. А.Л. Витбергу было разрешено возвратиться в Санкт-Петербург, где он выполнил несколько проектов надгробий и обелисков, а также проект собора для Тифлиса (1847 г., не осуществлён). Умер в бедности и полном забвении, похоронен на Волковом кладбище в Санкт-Петербурге (могила не сохранилась). Графическое наследие архитектора почти полностью погибло во время пожара в доме А.Л. Витберга в 1854 г.