«По словесному предложению» члена Синода митрополита Гавриила (Петрова) в октябре 1797 г. указом императора Павла I было заведено дело о возвращении присланных в Синод в 1791 г. из епархий и монастырей «летописцев и других подобных сочинений, к Российской истории относящихся» «в те места, откуда оные взяты» (Российский государственный исторический архив). А.И. Мусин-Пушкин отвечал своим обвинителям, что разыскиваемые материалы он лично отдал покойной императрице без документального оформления, однако большинство из них так и не были обнаружены. А.И. Мусину-Пушкину приходилось скрывать источник первоначального местонахождения рукописей, поскольку он для пополнения коллекции присвоил себе ставшее казённым монастырское имущество. Исследователи полагают, что наряду со стремлением любой ценой пополнить коллекцию А.И. Мусин-Пушкин надеялся на то, что рукописи лучше сохранятся в составе его собрания, и он получит большую возможность популяризации древнерусского наследия. А.И. Мусин-Пушкин писал: «Любовь к Отечеству и просвещению руководствовали мною к собранию книг и древностей, а в посильных изданиях моих единственную имел я цель: открыть, что в истории нашей доныне было в темноте, и показать отцов наших почтенные обычаи и нравы (кои модным французским воспитанием исказилися), и тем опровергнуть ложное о них понятие и злоречие». А.И. Мусин-Пушкин вернулся в Москву, куда перевёз из Санкт-Петербурга библиотеку и коллекции, поселился на Разгуляе, где в 1790–1800-х гг. выстроил новый трёхэтажный дом (Елоховская ул., д. 2/1). Данный участок, как и имение Настасьино-Покровское (Валуево), был унаследован в 1776 г. женой А.И. Мусина-Пушкина Екатериной Алексеевной от её тёти Марии Родионовны Кошелевой. Величественное главное здание в стиле классицизма с восьмиколонным портиком и аркадой на первом этаже сооружено по проекту мастера, близкого к школе Матвея Фёдоровича Казакова, восстановлено после 1812 г., с 1835 г. – вторая московская гимназия (надстроено в 1930 г. четвёртым этажом, ныне здание Московского государственного строительного университета). Уже с середины 1780 гг. вокруг А.И. Мусина-Пушкина формировался «Кружок любителей отечественной словесности», получивший название «Мусин-Пушкинский», в который в разное время входили управляющий Московским главным архивом (с 1800 г.) Николай Николаевич Бантыш-Каменский; историк генерал-майор Иван Никитич Болтин (1735–1792 гг.); поэт и историк Иван Перфильевич Елагин (1727–1794 гг.); историк и писатель, сенатор, член российской академии, один из учредителей Общества истории и древностей Российских Алексей Фёдорович Малиновский (1762–1840 гг.) и др., с кружком был тесно связан Николай Михайлович Карамзин. Василий Осипович Ключевский говорил, что цель деятельности «Кружка любителей отечественной словесности» «была не просто научная, а нравственно-патриотическая». Являясь приверженцами исторических взглядов Василия Никитича Татищева, члены кружка вместе с А.И. Мусиным-Пушкиным и с негласного одобрения императрицы Екатерины II были активными критиками трудов князя Михаила Михайловича Щербатова.