В этой усадьбе бывал Н.М. Карамзин, который с 1804 г. каждое лето жил с семьёй в соседнем Остафьеве. А.И. Мусин-Пушкин, в свою очередь, посещал там Н.М. Карамзина; например, в 1810 г. жена А.И. Мусина-Пушкина завела в усадьбе обширное хозяйство. Под её наблюдением проводилась новая отделка Покровской церкви (разрушена в 1970 гг., новый храм устроен в бывшей оранжерее в 2003 г.). У А.И. и Е.А. Мусиных-Пушкиных было три сына и пять дочерей: Мария (1782–1863 гг., в замужестве Хитрово), Иван, Наталья (1784–1829 гг., в замужестве княгиня Волконская, с 1811 г. – владелица Андреевского), Екатерина (1786–1870 гг., в замужестве княгиня Оболенская), Александр, София (1792–1878 гг., в замужестве княгиня Шаховская), Варвара (1796–1829 гг., в замужестве княгиня Трубецкая), Владимир. Детей воспитывал иезуит аббат Адриен Сюрюг. Старший сын А.И. Мусина-Пушкина Иван (1783–1836 гг.), поступив в 1812 г. в петербургское ополчение, закончил войну в 1815 г. в чине генерал-майора, за доблесть и мужество был награждён пятью российскими и тремя иностранными орденами, имел чин гофмейстера. Его сын Алексей (1825–1879 гг.) – гофмаршал, петербургский уездный предводитель дворянства; внуки: Александр (1855–1918 гг.) – гофмейстер, попечитель Одесского и Санкт-Петербургского учебных округов, автор многих работ по педагогике; Владимир (1868–1918 гг.) – церемониймейстер, член Государственного совета, Черниговский губернский предводитель дворянства. Другой сын Ивана – Александр (1827–1903 гг.) – генерал от кавалерии, командующий войсками Одесского военного округа, его старший сын Александр (1856–1907 гг.) – камергер, вологодский и минский губернатор. Третий сын, Владимир (1830–1886 гг.), – действительный статский советник, почётный московский мировой судья, его сын Владимир (1870–1923 гг.) – член IV Государственной Думы, товарищ главноуправляющего землеустройством и земледелием, участник Добровольческого движения. Младший сын А.И. Мусина-Пушкина Владимир (1798–1854 гг.) – участник «Северного общества», знакомый А.С. Пушкина, владелец Настасьино (с 1829 г.) и Иловны. Его жена – Эмилия Карловна, урождённая Шернваль фон Валлен (1810–1846 гг.). В честь святых Кирика и Иулитты, память которых празднуется в день именин Владимира (15/28 июля), был освящён придел усадебной церкви в Валуеве. Александр Алексеевич (1788–1813 гг.), средний сын А.И. Мусина-Пушкина, рано поступил на военную службу, имел боевой опыт во время войны с Турцией в 1808–1809 гг., с 1812 г. воевал в отряде атамана Матвея Ивановича Платова, был произведён в майоры. А.И. Мусин-Пушкин видел в Александре, члене Общества истории и древностей российских, продолжателя своего дела – собирателя и издателя российских древностей. Александр издал перевод «Речи Флавиана, патриарха Антиохийского, к греческому императору Феодосию» (М., 1804, 1813 гг.). Но 23 марта 1813 г. Александр был смертельно ранен на поле боя под городом Люнебургом, это известие ещё больше подорвало силы и здоровье А.И. Мусина-Пушкина. Отпевание А.И. Мусина-Пушкина состоялось в Богоявленском соборе Москвы, гроб с его останками крестьяне перенесли на руках для погребения в усадьбу Иловна. В связи с созданием Рыбинского водохранилища все постройки усадеб Иловна и Борисоглеб в 1937–1940 гг., а также Кирилло-Афанасьевский монастырь были разрушены, территории затоплены; остатки усадьбы Иловна выявлены под водой в 2016–2017 гг.