12 ноября 1844 г. Евгений был переведён на Астраханскую и Енотаевскую кафедру. 21 октября 1845 г. освятил астраханский храм в честь Рождества Христова, 1 июля 1846 г. – детский Александринский приют, 22 августа 1847 г. – Николаевский приют, в 1852 г. – женское отделение Попечительского комитета о тюрьмах. Пожертвовал более 1 тыс. книг в библиотеку Астраханской духовной семинарии. Во время эпидемии холеры (1847 г.) Евгений на кремлёвской площади Астрахани служил молебны, обращался к пастве с призывом к покаянию, советовал подчиняться распоряжениям полиции по принятию мер против эпидемии, слушаться врачей, а не «превратных толкований невежественных людей». В 1847–1848 гг. безуспешно принимал экстренные меры по сохранению и обретению мощей праведного Боголепа Черноярского, погребённого под Иоанновским приделом Воскресенской церкви. Но в начале 1849 г. та часть берега, где находилась могила Боголепа, обрушилась в Волгу. В 1855 г. Евгений способствовал почитанию Астраханских святителей Феодосия (Харитонова; прославлен в 2002 г.), Иосифа (прославлен в 1918 г.) и др., а также сохранению их мощей. В 1850 г. был вызван в Санкт-Петербург для присутствия в Синоде, в 1855 г. участвовал в погребении императора Николая I. 15 апреля 1856 г. Евгений возглавил Псковскую и Порховскую кафедру. В Пскове освятил Преображенскую церковь (1859 г.) в здании кадетского корпуса, возобновил иконостас в древней церкви во имя Варлаама Хутынского на Званице (XV в.). В ноябре 1861 г. тяжело заболел, свои денежные сбережения завещал на восстановление псковского кафедрального Троицкого собора. Больного архиерея регулярно посещал архиепископ Рижский Платон (Городецкий). 9 июля 1862 г. в Троицком соборе викарий Санкт-Петербургской епархии епископ Ревельский Леонтий (Лебединский) отслужил панихиду, 10 июля состоялось погребение Евгения в усыпальнице Псковских архиереев – крипте Троицкого собора. Священник Михаил Дмитриевич Благонравов писал, что Евгений «отличался знанием языков древних и новых», его проповеди «по образу и силе речи сходны с проповедями» Филарета (Дроздова), но «доступнее, чем речи» Московского святителя, т.к. «в провинции были далеко не такие слушатели, какие в столице». Награждён орденами св. Анны первой и второй степени, св. Владимира второй степени большого креста (1837 г.), Александра Невского (1851 г.), алмазным крестом для ношения на клобуке (1855 г.). В собрании Псковского музея-заповедника хранятся рукописные сборники его проповедей, а также рукописная Библия (1829–1830 гг.) и другие книги, принадлежавшие Евгению. Известна литография Петра Фёдоровича Бореля, напечатанная в мастерской Андрея Ивановича Траншеля в начале 1860 гг. (Исторический музей), с поясным изображением Евгения вполоборота влево, в кресле, в рясе и чёрном клобуке с крестом, с большой окладистой бородой и с чётками в левой руке, на груди – панагия, орден на ленте и три орденские звёзды.