При переменчивом настроении Павла І хитрому Груберу ничего не стоило заронить в его душу разные сомнения относительно Сестренцевича, и митрополиту вскоре было запрещено являться ко двору. В октябре 1800 г. католическая церковь Св. Екатерины в Санкт-Петербурге по ходатайству Грубера, была отдана иезуитам, а Сестренцевичу было приказано переселиться в дом капитула мальтийского ордена. Через несколько дней во время обычного визита Грубер во дворце, на вопрос императора Павла І, о чём говорят в городе, ответил: «Смеются над указом, который Ваше величество дали в нашу пользу», а на гневный вопрос императора: «Кто смеет это делать?», Грубер молча подал список, в котором были названы имена 27 лиц, неугодных иезуитам, в том числе и имя Сестренцевича. Тотчас был отдан приказ выслать всех из столицы, и 14 ноября 1800 г. Сестренцевич был выслан в своё поместье Буйничи (в 6-ти верстах от Могилёва). Местному губернатору был отдан приказ иметь наблюдение «за поведением и образом жизни его», а потом он был переведён в ещё более глухое имение Малатыч с запрещением к нему доступа посторонних лиц. Оставшись в совершенном одиночестве, Сестренцевич посвящал время учёным исследованиям. После вступления на престол император Александр I (1801–1825 гг.) назначил особую комиссию для разбора обвинений, взводимых на Сестренцевича. В 1801 г. он был возвращён в Санкт-Петербург и восстановлен в звании, но его власть была ослаблена: ему было запрещено вмешиваться во внутреннюю жизнь монашеских орденов. В 1815 г. русским правительством было поручено послу в Риме барону Тюйлю хлопотать перед курией о возведении Сестренцевича в звание примаса с титулом legatus natus, но эти хлопоты не увенчались успехом (между прочим, курией было поставлено в вину Сестренцевичу его участие в Библейском обществе). Сестренцевич был похоронен в сооружённом им костёле св. Станислава. Исследователи отмечают, что это был разносторонне образованный человек. Из его произведений появились в печати «Kazanie miane w dzien. sw. Stanislawa Kostki» (1771 г.), «List pasterski» (1779 г.), «Providentiae divinae evidens argumentum, consideratio de summo regis periculo» (1771 г.), «Gocya w Taurydze», трагедия в стихах (1783 г.), «Kazania i mowy w językach polskim i lacinskim» (1794 г.), «Diarium congregations synodalis utriusque cleri romani catholici in Imperio Rossico» (1794 г.), «Recherches historiques sur l'origine des Sarmates, des Esclavons et des Slaves» (1812 г.), «Histoire de la Tauride» (1800 г. – написано по поручению князя Потёмкина-Таврического), «Regulamen dla kosciolόw і klasztorόw katolickich w imperyjum Rossyjskiem» (1798 г.), «Kazanie miane w Wilnie w r. 1819» (1819 г.). Кроме того, Сестренцевич перевёл с английского сочинение Мэккензи «Sztuka utrzymania zdrowia» (1769 г.) и «Учреждение о губерниях Екатерины ІІ» под заглавием «Ustawy cezarzowej Katarzyny na gubernije» (1777 г., 2 изд. – 1795 г.). Много сочинений осталось в рукописях. Сестренцевич с 28 августа 1792 г. состоял членом Императорского Вольно-Экономического общества, а с 26 апреля 1813 по 5 мая 1823 г. – её президентом, а также почётным членом Московского, Виленского и Краковского университетов, членом Медико-Хирургической академии, Абовского и Великобританского обществ земледелия и многих других.