Евсевий был почётным членом конференций Санкт-Петербургской духовной академии (1859 г.) и Московской духовной академии (1871 г.). Награждён орденами св. Анны первой степени (1849 г.), св. Владимира второй (1856 г.) и первой (1882 г.) степени, св. Александра Невского (1863 г.), алмазными знаками того же ордена (1868 г.). Погребён 24 февраля 1883 г. в Спасской церкви Могилёвского архиерейского дома близ иконостаса на южной стороне. Отпевание совершал Могилёвский епископ Виталий (Грегулевич). Существует предположительный живописный портрет Евсевия. Погрудное изображение в овале, созданное академиком Львом Степановичем Игоревым (Церковно-археологический кабинет Московской духовной академии; надпись на подрамнике: «Писалъ художникъ Левъ Игоревъ. Март. 1858 года»), представляет архиерея вполоборота вправо, в рясе и клобуке, с благословляющей десницей, на груди панагия с образом «Несение Креста», орденские знаки св. Владимира второй степени и св. Анны первой степени со звёздами; у него длинные светлые пряди волос и небольшая редкая борода. Поскольку в 1857–1864 гг. Л.С. Игорев находился в 14-й Пекинской духовной миссии, исследователи считают наиболее вероятным, что он выполнил портрет Иркутского архипастыря, который оказывал миссии содействие. Внешний облик иерарха соответствует изображениям Евсевия в печатной графике. Портрет написан накануне возведения Евсевия в сан архиепископа. Известно несколько его поясных портретов в технике литографии, созданных в годы пребывания на Могилёвской кафедре. На эстампе Александра Тимофеевича Скино, напечатанном в мастерской Каспара Эргота в начале 1860 гг. (варианты в Историческом музее, в Церковно-археологическом кабинете Московской духовной академии), он запечатлён сравнительно молодым, вполоборота влево, в рясе и клобуке, с орденами св. Анны первой степени и св. Владимира второй степени, на панагии образ Благовещения Богородицы. По мнению исследователей, рисунок восходит к раннему живописному образцу с «зеркальным» поворотом фигуры. Лист был помещён в издание: Избранные поучения 12 архипастырей Русской Церкви, с их портретами. М., 1861 г. Другой эстамп К. Эргота (Церковно-археологический кабинет Московской духовной академии), судя по возрасту изображённого, исполнен немного позднее; иерарх показан возле стола, в рясе и клобуке, с панагией и двумя звёздами, волосы и борода с проседью, лоб нахмурен, взгляд устремлён вдаль, на правой руке чётки, левая лежит на столе. Вариант этой иконографии с левым поворотом фигуры (правая рука на столе, чёток нет, на лице легкая улыбка) есть на литографии Владимира Петровича Шемиота (Церковно-археологический кабинет Московской духовной академии), приложенной к изданию писем Евсевия к монашествующим.