Храмы Новочеркасского, Кавалергардского, Кирасирского и Каспийского полков были освящены в присутствии императора, храмы Фельдъегерского корпуса, третьего стрелкового полка и Михайловского заведения – совместно с правоверным Иоанном Кронштадтским. Желобовский также переосвятил церковь св. Иоасафа, царевича Индийского, в Николаевской Измайловской военной богадельне в память о короновании императора Николая II. 14 августа 1902 г. в присутствии московского генерал-губернатора великого князя Сергея Александровича и великой княгини Елисаветы Феодоровны освятил храм в честь иконы Божьей Матери «Скоропослушница» на Ходынском поле. В 1903 г. Желобовский совершил поездку в Болгарию на освящение храма-памятника Рождества Христова на Шипкинском перевале для поминовения православных воинов, павших в русско-турецкую войну. С 1874 г. Желобовский являлся членом Комиссии по делам присоединения духовенства военно-сухопутного ведомства к эмеритальной кассе. Его трудами полковые священники были допущены к эмеритуре военно-сухопутного ведомства на правах штаб-офицеров. В 1898 г. были увеличены квартирные оклады для псаломщиков в Привислинском крае, не раз возрастало денежное довольствие военного духовенства: 1 июля 1899 г. были введены новые табели с увеличенными окладами жалованья и столовых денег, 26 февраля 1901 г. возросли оклады казённых пенсий, чему содействовал военный министр Алексей Николаевич Куропаткин (1848–1925 гг.). Желобовский оказывал помощь военным священникам, которые вынужденно выходили за штат до выслуги пенсии, семьям военного духовенства, оставшимся без кормильца. Покровительствовал Обществу попечения о бедных военного и морского духовенства (открыл более 15 отделений). В 1890 г. Покровский приют общества перевели с окраины (Петербургская сторона) на Фурштатскую ул., в новый специально приобретённый дом, где могли проживать 15 семей (освящён 30 декабря того же года). В 1891 г. Желобовский опубликовал синодик общества для поминовения его членов. В 1894 г. по его замыслу при приюте была устроена мастерская по пошиву облачений и просфорная. В 1896 г. общество приобрело в г. Кременце Волынской губернии усадьбу под женское духовное училище, преимущественно для сирот военного духовенства. Также Желобовский попечительствовал Николаевской богадельне гвардейского и гренадерского духовенства. Согласно новому уставу (1893 г.), в богадельню принимали священно- и церковнослужителей Гвардейского и Гренадерского корпусов, оставивших службу по болезни и возрасту, а также их вдов и сирот. В 1900 г. здание было расширено и надстроено, в 1910 г. на пожертвования Желобовского при богадельне была открыта амбулатория, построены два новых приюта для вдов и сирот военного духовенства и расширен третий. Самым значительным сооружением стала Гатчинская богадельня для призрения вдов и сирот военного и морского ведомства и заштатных священно- церковнослужителей (1905–1906 гг.), которая получила имя Желобовского.