Особенно любил служить в кафедральном соборе. Смертельно заболел в конце февраля 1879 г. Погребён Калужским архиепископом Григорием (Митькевичем) и викарием Санкт-Петербургской епархии, Ладожским епископом Ермогеном (Добронравовым) 17 марта 1879 г. в кафедральном Преображенском соборе в Твери. Собор уничтожен в 1935 г., захоронение утрачено. Евсевий был награждён орденами св. Анны второй (1844 г.) и первой (1851 г.) степени, св. Александра Невского (1861 г.) и алмазными знаками к нему (1871 г.), св. Владимира третьей (1847 г.), второй (1860 г.) и первой (1877 г.) степени. Почётный член Кавказского общества сельского хозяйства (1858 г.), Московского сельскохозяйственного общества (1859 г.), Кавказского отдела Русского географического общества (1859 г.), Кавказского медицинского общества (1864 г.), Общества ревнителей православия и благотворителей Северо-Западного края (1869 г.), Киевской духовной академии (1869 г.), Общества любителей духовного просвещения (1870 г.), Церковно-археологического общества при Киевской духовной академии (1873 г.), Казанской духовной академии (1875 г.), член Общества любителей кавказской археологии (1873 г.) и др. Евсевий был известен как проповедник, получили распространение его речи по случаю подавления русскими войсками Венгерского восстания в 1849 г., восшествия на престол и коронации императора Александра II, покорения Кавказа в 1864 г. и др., а также ряд духовных размышлений, близких по жанру к проповедям. Евсевий написал несколько обзорных работ по истории древней церкви: об апостоле Варнаве, об Иринее Лионском, переводил труды священномученика Иринея, священномученика Киприана Карфагенского, Григория Нисского, Иоанна Златоуста, Афанасия Александрийского, Антония Великого, Ефрема Сирина, Навкратия Студита. Активно участвовал в благотворительной деятельности, был почётным членом Ковенского детского приюта (1849 г.), по должности состоял вице-президентом попечительных о тюрьмах комитетов в Ковно (1851 г.), Каменце-Подольске (с 1852 г.) и Тифлисе (с 1866 г.). Жертвовал на содержание храмов Белгорода. Направлял средства на нужды вдов и сирот духовного звания. Во время Крымской (1853–1856 гг.) и Русско-турецкой (1877–1878 гг.) войн помогал деньгами русской армии. Неоднократно дарил духовную литературу, в том числе собственные сочинения, в библиотеки духовных учебных заведений: Санкт-Петербургской духовной академии, Казанской духовной академии, Киевской духовной академии, Курской и Тифлисской семинарий, Тифлисского духовного училища, а также грузинскому попечительству о бедных духовного звания.