В 1780 г. были введены классы семинарского уровня по греческому, французскому, немецкому языкам, арифметике и рисованию. При Евгении в епархии начали строиться многие храмы, однако лишь небольшое количество было возведено до его ухода. В вопросе об отношении к старообрядчеству Евгений как выходец из другой поместной церкви в известной мере занимал нейтральную позицию. Сразу после его прибытия в Полтаву к нему обратились старообрядцы-поповцы из деревни Знаменки с просьбой разрешить им строительство новой церкви. Евгений разрешил, но при условии, что они исповедуют своё согласие с православием. Отношение Евгения, воспитанного в борьбе с иезуитами в Османской империи, к униатам было более бескомпромиссным. Ещё одну проблему в епархии создавало увеличившееся число странников – духовных лиц с Востока, которые без официального разрешения собирали милостыню в южнорусских землях. В 1779 г. Евгений отказался от управления епархией в пользу епископа Никифора (Феотоки). Около двух лет после этого он оставался в Полтаве, пытаясь успокоить греческих переселенцев, возмущённых тем, что они не получают необходимого продовольствия, крова и обещанных привилегий. 800 из них прибыли в Херсон к Григорию Александровичу Потёмкину, Евгений также приехал туда. Несмотря на миротворческие усилия Евгения и епископа Никифора, часть греков отправились в Крым, чтобы оттуда вернуться в османские земли. В Херсоне Евгений был тесно связан с Г.А. Потёмкиным, делился с ним своими представлениями о новой греческой цивилизации, которая займёт место Османской империи. Новороссия представлялась ему плацдармом для создания некоего нового государства. Г.А. Потёмкин обратился к Евгению с просьбой написать историю северного побережья Чёрного моря, однако эта работа так и не была создана. В мае 1781 г. Евгений окончил «Историческое разыскание о времени крещения российской великой княгини Ольги», которое было опубликовано параллельно на русском и латинском языках в 1792 г. Используя византийские источники («О церемониях византийского двора» императора Константина VII Багрянородного, хроники Георгия Кедрина, Иоанна Зонары и др.), Евгений полемизировал с Вольтером и немецким историком И.Х. Лейхом, которые относили посещение великой княгиней Ольгой Константинополя к правлению императора Иоанна I Цимисхия (969–976 гг.). По мнению Евгения, крещение состоялось в Константинополе в 956 г. В феврале 1785 г. Евгений написал католическому Могилёвскому архиепископу Станиславу Богуш-Сестренцевичу по вопросу о борисфенах и их идентификации с сарматами, которые, как тогда предполагалось, были предками поляков. В этом послании Евгений показал глубокое знание византийских, западных и русских источников, сослался на мнение некоторых авторов о том, что сарматский язык мог быть связан с греческим и славянским. Евгений за 6 тыс. руб. продал свою огромную библиотеку Г.А. Потёмкину, который был занят организацией Екатеринославского университета в честь Екатерины II. Всё книжное собрание Евгения состояло приблизительно из 900 названий, в том числе 146 греческих, начиная с редких изданий XVI в. Однако университет так и не был основан, и император Павел I распорядился переправить книги в Казань для пополнения библиотеки местной гимназии.