30 июля 1856 г. Евлампий по прошению был уволен на покой с управлением свияжским в честь Успения Пресвятой Богородицы монастырём. Составил службу, канон и акафист Герману (Садыреву-Полеву), которые были одобрены Синодом и опубликованы. Один экземпляр был вложен в гроб Евлампия. Многочисленные проповеди архиерея публиковались в «Орловских губернских ведомостях», «Вологодских губернских ведомостях» и др. Подготовил и издал сборник проповедей, произнесённых во время пребывания на Вологодской и Тобольской кафедрах. Длительное время Евлампий учил выпускников семинарий особенностям богослужебной практики, поручал им писать проповеди, толкования на Священное Писание и проч. Его архиерейские службы отличались особой продолжительностью (до шести часов) и торжественностью. По свидетельству архимандрита Пимена (Мясникова), «этот преосвященный имел особенность в служении – необыкновенную медленность, так что, начав литургию в обыкновенное время, он оканчивал её весьма неопределённо, иногда в первом часу пополудни, во втором и даже позднее, что было для сослужащих с ним чрезвычайно утомительно, из-за чего на него очень роптали». С другой стороны, его службы привлекали старообрядцев. Крестные ходы при нём также отличались продолжительностью по времени и протяжённостью в несколько вёрст, Евлампий участвовал в них от начала до конца. Был награждён орденами св. Владимира третьей степени, св. Анны первой степени (1838 г.). Похоронен в Свияжском монастыре. Сохранились два живописных портрета Евлампия, созданные во время его пребывания на Вологодской кафедре художником Николаем Ивановичем Катиным. Поясное изображение 1848 г. с авторской подписью: «П: Nиколай Катинъ. 1848 Года», поступившее в собрание Вологодского музея из вологодской кладбищенской церкви Введения Богородицы во храм, имеет репрезентативный характер – иерарх представлен вполоборота влево, в рясе и чёрном клобуке, на груди – панагия с ростовым образом Божьей Матери, орден и звезда св. Анны первой степени и орден св. Владимира третьей степени на ленте, в руках – чётки и листы бумаги как указание на авторство духовных сочинений. Судя по надписи на обороте, портрет входил в состав большого комплекса таких произведений («С правой стороны 1 рядъ нижнее м(есто?). отъ дверей»). Он имеет заказной характер, исполнен в немного суховатой академической манере, с большим профессионализмом в передаче индивидуальной характеристики, использовании оптических приёмов цветосветовой нюансировки (голубые рефлексы на коричнево-фиолетовом одеянии). Погрудный портрет Евлампия из Димитриева Прилуцкого монастыря, по мнению исследователей, является натурным «эскизом» к этому парадному портрету, написан около 1848 г. (Вологодский музей). Он представляет епископа в чёрной рясе и клобуке, с теми же наградами и панагией, с аналогичной трактовкой лица, в более сдержанной колористической гамме.