В 1732–1740 гг. над местом погребения преподобного Давида, где стояла деревянная часовня, была сооружена каменная колокольня, под которой в 1740 г. на средства жены статского советника А.В. Бобрищевой-Пушкиной была устроена церковь в честь иконы Божьей Матери «Знамение». В 1762 г. на колокольне были установлены «часы боевые с перечасьем». К началу XX в. окончательно сложилась структура Давидовой пустыни: монастырь занимал территорию в форме почти правильного прямоугольника со срезанным юго-западным углом, был обнесён каменной оградой, по углам (кроме юго-восточного) которой было сооружено пять трёхэтажных башен. В северную ограду были встроены двухэтажный корпус, надвратная Успенская церковь, Спасский собор, трапезная Всехсвятская церковь. Симметрично этим постройкам в южной части Давидовой пустыни располагались два двухэтажных здания. В западную и восточную ограду были встроены небольшие одноэтажные постройки. Главный вход в монастырь располагался в проездном ярусе колокольни, возведённой в середине западной стены. В центре основного двора на одной линии с колокольней находились Вознесенский собор и Знаменская церковь, севернее – Никольский храм. Некоторые постройки пустыни возвели за её стенами. Строительство каменного собора в честь Вознесения Господня началось в XVI в., но тогда не было завершено. От XVI в. сохранился фундамент и стены четверика до уровня порталов второго яруса, а также портал и проём южного фасада. Лишь в 1676–1682 гг. по указу патриарха Иоакима строительные работы были завершены. Здание Вознесенского собора представляет собой двухъярусный четверик, увенчанный пятиглавием (барабан центральной главы – световой), с трёхчастной апсидой на востоке. Первоначально с трёх сторон собор был окружён двухъярусной галереей с двумя симметричными приделами на восточных торцах (сохранился южный, Успенский придел, южная и частично западная галереи). Внутри своды церкви опираются на два внутренних столпа, которые поддерживают четыре подпружные арки, несущие центральную часть свода. Южный и северный нефы перекрыты лотковыми сводами. Исследователи предполагают, что эта своеобразная конструкция восходит к неосуществлённому в XVI в. замыслу. Фасады собора прорезаны прямоугольными окнами (по два с каждой стороны, кроме восточной), украшенными наличниками в виде колонок, с килевидными завершениями. Углы четверика отмечены сдвоенными полуколонками; сверху стены завершены фризом из поливных изразцов, рядом килевидных кокошников.