В 1804 г. А.И. Мусин-Пушкин был избран почётным членом Общества истории и древностей Российских, созданного при Московском университете. Был почётным членом и членом «Беседы любителей российского слова», Московского университета, мастерской Оружейной палаты, Экономического собрания. В этот период интенсифицировалась деятельность А.И. Мусина-Пушкина как «крайнего древностей наших любителя» (И.Н. Болтин), направленная на собирательство, издание литературы и исторические исследования. Наибольшую ценность представляла библиотека А.И. Мусина-Пушкина, которая насчитывала около 3 тыс. печатных книг и 1200 рукописей. Его частное собрание было одним из трёх крупнейших в стране наряду с коллекциями Фёдора Андреевича Толстого и Николая Петровича Румянцева. Первым по времени крупным приобретением стал архив историка, комиссара при императоре Петре I Петра Никифоровича Крёкшина. У его внука А.М. Деденева (около 1786 – 1788 гг.) и у букиниста Василия Степановича Сопикова (в 1791 г.) А.И. Мусин-Пушкин приобрёл, в частности, летопись князя Фёдора Ивановича Кривоборского – «Владимирский летописец», журнал императора Петра I в 27 книгах и заметки императора, «летопись» и другие бумаги патриарха Московского и всея Руси Никона, летопись с примечаниями В.Н. Татищева, «Древнюю карту Российского государства, поновленную в Розряде и списанную в книгу 1627 г.» (СПб., 1792 г.). В дальнейшем коллекция А.И. Мусина-Пушкина пополнилась рукописями из собраний графа Гавриила Ивановича Головкина, историка и археолога Алексея Николаевича Оленина, протоиерея Петра Алексеевича Алексеева, Астраханского и Ставропольского архиепископа Никифора (Феотоки). Большую коллекцию ростовских и ярославских древностей А.И. Мусин-Пушкин получил благодаря знакомству с Ярославским и Ростовским архиепископом Арсением (Верещагиным). Архангелогородский архиепископ Аполлос (Байбаков) специально завещал А.И. Мусину-Пушкину книжные редкости и летописи. Екатеринославский, Херсонский и Таврический архиепископ Иов (Потёмкин) подарил ему несколько редких книг, найденных в Польше, в том числе «Литовский статут», напечатанный «славянскими буквами» в Вильно в 1588 г. Несколько своих рукописных сочинений отдал А.И. Мусину-Пушкину поэт Гавриил Романович Державин. В коллекцию А.И. Мусина-Пушкина поступали целые библиотеки с личными архивами (с 1791 г. – Антона Алексеевича Барсова, профессора Московского университета, и с 1794 г. – Ивана Никитича Болтина, которую специально приобрела для собрания императрица) или их значительная часть (рукописи и книжное собрание Ивана Перфильевича Елагина и историка Василия Никитича Татищева, библиотека архимандрита Иоиля (Быковского)). Большое место в коллекции А.И. Мусина-Пушкина заняли черновые бумаги выдающихся личностей. Первыми были черновики императрицы Екатерины II к «Запискам касательно Российской истории» и к новому уложению, которые собирателю подарила сама императрица. Затем к ним добавились рукописи Ростовского митрополита Димитрия (Савича (Туптало)), митрополита Гавриила (Петрова), Киевского митрополита Самуила (Миславского), архиепископа Арсения (Верещагина).