Однако Желобовский не смог добиться нормализации тяжёлого бытового и нравственного положения военнослужащих на гауптвахтах, представлявших собой одновременно и тюрьмы, и места предварительного заключения, практически лишённых духовного окормления, не сумел должным образом организовать служение военных священников на театре военных действий в годы русско-японской войны. Ему не удалось и противодействовать революционной пропаганде среди нижних чинов и новобранцев в период революции 1905–1907 гг. Он был известен как законоучитель и проповедник. Работал в Санкт-Петербургском епархиальном историко-статистическом комитете, опубликовал две статьи о санкт-петербургских военных церквах. С 1885 г. являлся председателем Комиссии по составлению «Сборника внебогослужебных бесед для сельских пастырей». Пособия Желобовского по Закону Божию в поучениях, которые он подготовил в период настоятельства в Кавалергардском полку, неоднократно переиздавались (в том числе в виде особого сборника к 100-летию полка). В 1905 г. Желобовский издал внебогослужебные беседы пастыря с военными о высоком значении воинского звания. 2 ноября 1905 г. был назначен членом Святейшего Синода. В 1900 гг. в его ведении находилось более 600 церквей и до тысячи человек военного духовенства. 17 сентября 1909 г. в Преображенском всей гвардии соборе торжественно праздновалось 50-летие служения Желобовского в священном сане. Почитатели к этому дню выделили капитал в сумме 3,4 тыс. руб. на учреждение премии его имени за лучшую проповедь или внебогослужебную беседу, составленную применительно к воинскому быту. 23 октября 1910 г. была учреждена должность помощника протопресвитера, которую занял протоиерей Евгений Петрович Аквилонов (1861–1911 гг.). Желобовский отличался простотой и корректностью в общении с людьми, необыкновенным трудолюбием, был награждён наперсным крестом с драгоценными украшениями из Кабинета Его Величества (1895 г.), орденами св. Анны трёх степеней, св. Владимира четырёх степеней (1909 г., первая степень – единственное пожалование священнику), св. Александра Невского (1900 г.) и бриллиантовыми знаками к нему. 1 мая 1910 г. Санкт-Петербургский митрополит Антоний (Вадковский) в Преображенском соборе возглавил чин отпевания Желобовского, в сослужении Ярославского архиепископа Тихона (Беллавина, впоследствии патриарх), затем возглавлявшего похоронную процессию вместе с духовником почившего протоиереем Фёдором Александровичем Боголюбовым, а также архиепископами Варшавским Николаем (Зиоровым), Виленским Никандром (Молчановым), епископами Полтавским Иоанном (Смирновым), Оренбургским Иоакимом (Левицким), Гдовским Вениамином (Казанским), протоиереями Алексием Ставровским и Александром Дерновым (всего до 60 представителей духовенства). Присутствовали обер-прокурор Святейшего Синода Сергей Михайлович Лукьянов, высшие военные чины во главе с военным министром Владимиром Александровичем Сухомлиновым. По завещанию тело Желобовского было доставлено на родину с остановкой в Филипповой Ирапской во имя Святой Троицы мужской пустыни. 3 мая 1910 г. он был погребён рядом с могилами родителей у приходского храма (не сохранился). Главные работы, изданные отдельно: «Слова, беседы и поучения» (СПб., 1899), «Краткое объяснение семи таинств Христовых» (3-е изд., СПб., 1909), «Управление церквами и православным духовенством военного ведомства» (СПб., 1902).