По инициативе Евсевия Троицкая церковь была приспособлена для зимних богослужений, в 1852 г. он пожертвовал в монастырь утварь. 2 июля 1845 г. освятил придел святых Константина и Елены в соборе виленского в честь Сошествия Святого Духа монастыря. С 19 июля 1846 г. – благочинный монастырей Виленской и Ковенской губерний. 4 декабря 1848 г. назначен настоятелем Пожайского в честь Успения Пресвятой Богородицы монастыря в связи с предстоящей хиротонией. По ходатайству Евсевия Киевский митрополит Филарет прислал из ризницы Киево-Печерской лавры 11 архиерейских облачений для обители, был пожертвован ряд икон, устроена больница для военных на сто коек в период эпидемии холеры. 10 декабря 1848 г. по ходатайству Литовского архиепископа Иосифа (Семашко) Святейший Синод назначил Евсевия епископом Ковенским, викарием Литовской епархии. 31 декабря архиепископ Иосиф совершил его наречение в присутствии Могилёвского епископа Анатолия (Мартыновского) и викария Литовской епархии, Брестского епископа Игнатия (Железовского). 1 января 1849 г. Евсевий был хиротонисан в Троицком монастыре. В конце мая – июне 1849 г. Евсевий инспектировал 45 церквей Лидского, Ошмянского и Трокского уездов. С 15 сентября до 15 октября временно управлял Литовской епархией при отъезде архиепископа Иосифа. 29–31 марта 1851 г. назначен епископом Подольским. На новой кафедре заботился о качестве проповедей, часто читал поучения, говорил просто и ясно, любил служить в сельских храмах. В феврале 1854 г. подготовил аналитическую записку в Синод о причинах распространения старообрядчества, в которой предлагал достаточно строгие меры противодействия, включая закрытие молитвенных домов, одновременно указывал на невысокий образовательный уровень синодальных священников. В 1857 г. осуществил ревизию Подольской духовной семинарии. С 10 января 1858 г. временно управлял Киевской епархией. 1 марта 1858 г. был назначен архиепископом Карталинским и Кахетинским, экзархом Грузии и членом Синода. 25 октября 1865 г. был утверждён новый штат канцелярии экзарха Грузии из девяти лиц и выделено 4050 руб. штатной суммы. Была устранена откупная продажа церковных восковых свечей, лишавшая духовенство свечного дохода, свечи с 1866 г. стали изготовлять на церковном заводе. В 1868 г. Евсевий ходатайствовал об учреждении викариатства в Осетии с центром во Владикавказе, что осуществилось лишь 3 апреля 1875 г. В 1869 г. Абхазская, а в 1873 г. Мингрельская епархии были присоединены к Имеретинской, при последней было учреждено Мингрельское викариатство.