После прибытия в Каунас Елевферий немедленно приступил к устроению нового центра епархии. Был избран епархиальный совет, началось издание «Литовских епархиальных ведомостей» (с 1924 г. – «Голос Литовской православной епархии»), были утверждены размеры приходских сборов. Правовой статус православной церкви в Литве регламентировали «Временные правила», официально утверждённые 20 мая 1923 г. В 1926 г. Елевферий получил от литовского МВД предложение предпринять действия по приобретению автокефалии. Елевферий отказался, предложив решать вопрос о судьбе епархии после возвращения под его управление Виленской кафедры, что нашло понимание у литовских властей, декларировавших невмешательство во внутренние дела церкви. В связи с тем, что кафедральный Петропавловский собор в Каунасе ещё в 1919 г. был отобран у верующих, кафедральным храмом Елевферия стала небольшая кладбищенская Воскресенская церковь. В 1932 г. был заложен каунасский кафедральный Благовещенский собор (освящён в 1935 г.), построенный при содействии литовских властей. Также в других городах Литвы было выстроено шесть новых храмов взамен ранее отобранных у православных. Всего к середине 1930 гг. управляемая Елевферием православная церковь в Литве имела 31 храм. Официальный статус был только у десяти приходов, существовавших до 1919 г.; 15 новых приходов в Литве действовали без официального признания. Хотя Елевферий рукоположил в 1923 г. сразу пять иереев и ещё пять до 1930 г., священников не хватало, некоторым из них приходилось служить в нескольких приходах. Для финансирования ремонта храмов Елевферий благословил создание благотворительных фондов православной епископии (до 1938 г.) и имени патриарха Тихона. Был создан ряд обществ: Мариинское женское благотворительное общество, Ковенское похоронно-благотворительное братство, Благовещенское сестричество и др., возобновило деятельность Свято-Никольское братство, действовали богословские курсы. Елевферий никогда не прерывал канонических связей с Московской патриархией, поддерживал управляющего русскими православными приходами в Западной Европе митрополита Евлогия (Георгиевского) в его противостоянии Архиерейскому Синоду Русской Православной Церкви за границей. После того как Синод РПЦЗ объявил о лишении митрополита Евлогия должности управляющего русскими православными приходами в Западной Европе и запрещении его в служении, митрополит Евлогий в марте 1927 г. обратился к Елевферию с просьбой канонической оценки происшедшего. В ответном письме Елевферий подтвердил, что считает действия Синода РПЦЗ неканоничными и недействительными. Вместе с митрополитом Евлогием Елевферий в 1927 г. в соответствии с указом Временного Священного Синода РПЦ подписал обязательство не допускать нелояльных действий по отношению к советской власти. В ноябре 1928 г. Елевферий совершил поездку в Москву для доклада на Временном Священном Синоде о деятельности церкви за рубежом. 28 ноября указом Заместителя Патриаршего Местоблюстителя митрополита Сергия (Страгородского) он был возведён в сан митрополита, получил право самостоятельно решать все церковно-административные вопросы Литовской епархии. По впечатлениям о поездке Елевферий написал книгу «Неделя в Патриархии», содержавшую как описание поездки, так и обзор основных событий церковной жизни в России в 1920 гг. В книге обосновывалась с канонической точки зрения позиция, занятая Заместителем Патриаршего Местоблюстителя митрополитом Сергием, и осуждались выступления его противников – организаторов григорианского раскола и сторонников митрополита Иосифа (Петровых).