Желая «возбудить в художниках похвальное любочестие», 12 января 1796 г. А.И. Мусин-Пушкин положил начало проведению ежегодных отчётных выставок, впоследствии ставших традиционными. Каждый из художников в июле сам выбирал работу «для всенародного обозрения». За лучшие работы А.И. Мусин-Пушкин учредил шесть денежных премий, которые выплачивал из своего жалованья. Работы возвращались владельцам после выставки. В 1797 г. были премированы скульптор М.И. Козловский за работу «Минерва с гением», живописцы Андрей Ефимович Мартынов – за виды Италии и Владимир Лукич Боровиковский, создавший портреты графа Дмитрия Петровича и графа Афанасия Андреевича Бутурлиных. В.Л. Боровиковскому А.И. Мусин-Пушкин заказал портрет своей жены (1797 г.; Русский музей). В 1796 г. для экономии академических средств А.И. Мусин-Пушкин предложил выдавать ученикам лишь половину выручки от продажи их работ, чтобы остальное шло в казну Академии Художеств. Была упорядочена выплата жалованья в соответствии с уставом, отменены незаконные прибавки. В 1776 г. А.И. Мусин-Пушкин приобрёл в Санкт-Петербурге у князя Сергея Сергеевича Гагарина дом, который с 1836 г. является правой частью здания по Большой Морской ул., д. 45. В 1780 г. он продал дом графу Петру Кирилловичу Разумовскому и поселился в Почтамтском пер., д. 2/10. 6 мая 1781 г. А.И. Мусин-Пушкин женился на княжне Екатерине Алексеевну Волконской (1754–1829 гг.), дочери генерал-майора и племяннице московского главнокомандующего в 1771–1780 гг. князя Михаила Никитича Волконского. В декабре 1782 г. при посредничестве Григория Александровича Потёмкина приобрёл ранее арендованный им дом на набережной реки Мойки (современный №104) у Никиты Акинфиевича Демидова, металлопромышленника и мецената. Каменный Г-образный флигель на набережной, в котором находились рабочий кабинет и коллекция А.И. Мусина-Пушкина, в 1843–1847 гг. был включён в новое здание, построенное по проекту Николая Павловича Гребенки, но сохранил свой фасад. На время проживания А.И. Мусина-Пушкина в доме на Мойке с 1782 по 1798 гг. приходится период наивысшего расцвета его общественной и собирательской деятельности. Хорошо зная иностранные языки, на службе он предпочитал объясняться по-русски, у сослуживцев пользовался уважением и любовью за своё «благорасположение к наблюдению истины». После вступления на престол императора Павла I, в 1797 г. А.И. Мусин-Пушкин был отстранён от должностей обер-прокурора Синода и президента Академии Художеств. 5 апреля того же года ему были пожалованы титул графа и должность сенатора вшесто-м (Московском) департаменте Сената, в 1799 г. – чин действительного тайного советника, при этом А.И. Мусин-Пушкин отказался принять в дар от государя тысячу крепостных. В том же году по личному прошению он был уволен с государственной службы. Отставка А.И. Мусина-Пушкина объяснялась не только его близостью ко двору императрицы Екатерины II, но и обвинением бывшего обер-прокурора в присвоении не менее 11 рукописей, присланных в Синод из епархий «для рассмотрения»: ему был представлен реестр пропавших рукописей, находившихся в его распоряжении.