30 апряля 1837 г. Елпидифор был назначен ректором Воронежской духовной семинарии, 21 мая того же года – настоятелем Акатова во имя святителя Алексия монастыря. Одновременно в Воронежской епархии служил присутствующим в духовной консистории, благочинным епархиальных монастырей, цензором проповедей духовенства. По предложению обер-прокурора графа Николая Александровича Протасова Елпидифор составил учебник по герменевтике для семинарского курса (не издан). Воронежский архиепископ Антоний (Смирницкий) по преклонности лет просил назначить ему помощника и указывал на Елпидифора как на человека, хорошо ему известного. 2 февраля 1842 г. Елпидифор был хиротонисан в Казанском соборе Санкт-Петербурга во епископа Острожского, стал вторым викарием Воронежской епархии. Архиепископ Антоний предполагал сохранить за Елпидифором ректорство в Воронежской духовной семинарии, но поданное об этом в Святейший Синод прошение не было удовлетворено. Елпидифор часто служил в Митрофановом воронежском в честь Благовещения Пресвятой Богородицы мужском монастыре, в приходских церквах, совершал обозрение епархии, освятил придел во имя преподобномученицы Евдокии во Всехсвятской кладбищенской церкви (1842 г.), домовый храм во имя архангела Михаила во вновь устроенном Воронежском Михайловском кадетском корпусе (8 ноября 1845 г.). Архиепископ Антоний 19 декабря 1846 г., перед кончиной, передал Елпидифору все дела по управлению епархией. Елпидифор совершил первую панихиду по архиепископу Антонию в сослужении духовенства Воронежской епархии. Затем служение викария проходило при архиепископе Игнатиии (Семёнове). 1 марта 1848 г. Елпидифор был назначен епископом Харьковским, сменив на кафедре архиепископа Иннокентия (Борисова), с которым его связывали дружеские отношения и переписка; письма хранятся в Отделе рукописей Российской национальной библиотеки в собрании бумаг архиепископа Иннокентия (Борисова). 6 ноября 1848 г. Елпидифор был назначен епископом Подольским. По свидетельству священника П. Викулы, в то время архиерей был болен «грудной болезнью» и мало вникал в текущие дела. Вскоре Елпидифор вызвал недовольство обер-прокурора Святейшего Синода графа Н.А. Протасова, по докладу которого император Николай I объявил преосвященному выговор.