Католическая капелла, спроектированная по образу базилики Витрувия, реконструированной Перро, освящена 17 июня 1800 г. архиепископом Могилёвским Станиславом (Богушем-Сестренцевичем), митрополитом Римско-католической церкви в России. Колоннада апсиды была вдохновлена алтарными композициями базилик IV в., эпохи равноапостольного императора Константина I Великого, в частности, базилики Сан-Паоло-фуори-ле-Мура в Риме, посвящённой апостолу Павлу, небесному покровителю российского императора (последняя реставрация католической капеллы проведена под руководством архитектора Сергея Викторовича Самусенко, 1986–1998 гг.). Православная церковь Рождества Иоанна Предтечи была размещена в одном из дворцовых залов, где раньше располагалась домовая церковь Михаила Малеина, это изначально определило её простую прямоугольную форму с окнами по обеим сторонам. Притвор с хорами над ним и алтарную часть Дж. А. Кваренги выделил, согласно чертежам, поперечными колоннадами композитного ордера, продолжавшимися на боковых стенах рядом сдвоенных пилястр. На уровне чердака на основе стропильно-кружальной деревянной конструкции был устроен продольный цилиндрический свод, богато декорированный кессонами и штукатурными рельефами. По примеру раннехристианских базилик алтарное пространство обрамлялось полукруглой колоннадой, несущей конху апсиды. Низкий иконостас византийского типа был устроен на основе двух колонн, поддерживающих архитрав-темплон со скульптурным изображением Распятия и коленопреклонённых ангелов. Необычным было, по мнению исследователей, выделение колоннадой пространства солеи (как, например, в церкви Спаса на Сенях Ростовского митрополичьего двора, 1675 г.). Исследователи видят образную связь этой церкви с храмами Ветхого Завета – скинией пророка Моисея и святилищем храма Соломона, имевшими внутри прямоугольную форму. В июле 1800 г. Дж. А. Кваренги стал кавалером Мальтийского ордена, 1 сентября 1805 г. избран вольным общником (почётным членом) императорской Академии Художеств, в 1814 г. получил потомственное дворянство, награждён орденом св. Владимира первой степени. Среди последних работ Дж. А. Кваренги – деревянные Нарвские триумфальные ворота в Санкт-Петербурге в честь возвращения русской армии из Франции (1814 г., перестроены в камне и металле Василием Петровичем Стасовым в 1824–1833 гг.) и конкурсный проект храма-памятника, посвящённого Отечественной войне 1812 г., в Москве на Воробьёвых горах (1815 г., сохранилось два варианта ротонды с портиком типа Пантеона). Последний, как и другие церковные проекты Дж. А. Кваренги (в частности, соборов в Кременчуге и Новгороде-Северском, 1790 гг.), послужил источником вдохновения для последователей архитектора, в том числе для создания альбомов типовых проектов как в России (Карл Иванович Росси, Луиджи Руска, Иосиф Иванович Шарлемань), так и в Западной Европе; влияние Дж. А. Кваренги исследователи видят и в советской архитектуре середины XX в. вплоть до проектов монументов Великой Отечественной войны 1941–1945 гг.