При церквах военного ведомства по его инициативе были открыты библиотеки с книгами религиозно-нравственного содержания. В 1890 г. Желобовский ходатайствовал перед начальством о налаживании поступления журналов «Православное обозрение», «Разум и вера», «Вестник военного духовенства» не только в церковные библиотеки, но и в библиотеки офицерских собраний. Помогал открытию братств при военных церквах, был в числе основателей и благотворителей братства Христа Спасителя при казанской военно-кремлёвской церкви, являлся почётным членом Новочеркасского братства в память Александра III. С 1900 г. Желобовский был членом особой комиссии при Главном штабе для обсуждения вопросов, касающихся удовлетворения религиозных нужд и поднятия религиозно-нравственного воспитания в войсках, под председательством графа Владимира Сергеевича Татищева (1865–1928 гг.). Комиссией были систематизированы рекомендации по улучшению духовного состояния армии (направление нижних чинов на богослужения, введение народного пения, соблюдение постов, внебогослужебные собеседования, борьба со сквернословием и т.д.), а также разработан тип военной церкви, образцовой по вместительности и экономичности. 28 апреля 1901 г. выработанные меры были утверждены императором, а Желобовский был удостоен Высочайшей благодарности. С 1900 г. одним из приоритетных направлений Главного штаба было увеличение числа войсковых церквей, т.к. при многих воинских частях, особенно артиллерийских, сапёрных и казачьих, не было не только церквей, но и священников, и богослужения совершались в неприспособленных помещениях. Комиссия графа В.С. Татищева начала строительство храмов. В 1901 г. по Высочайшему повелению на нужды церковного строительства по ведомству Желобовскому было выделено 200 тыс. руб., в 1902 и 1903 гг. – по 450 тыс. руб. Военным духовенством было построено около 100 войсковых церквей. В Санкт-Петербурге и пригородах Желобовский освятил церкви великомученика Георгия при Главном штабе (1890 г.), князя Александра Невского в Красном Селе (1890 г.), архангела Михаила при Михайловском учебно-воспитательном заведении (1893 г.), иконы Божьей Матери «Утоли моя печали» при клинике душевных и нервных болезней Военно-медицинской академии (1892 г.), преподобного Сергия Радонежского при 23-й артиллерийской бригаде в Гатчине (1893 г.), Покрова Пресвятой Богородицы при Военно-фельдшерской школе (1895 г.), князя Александра Невского при Новочеркасском императора Александра III полку (1896 г.), великомученицы Параскевы на Пороховых (1897 г.), свв. Захарии и Елисаветы при лейб-гвардии Кавалергардском полку (1898 г.), святителя Николая при стрелковом полку (1898 г.), пророка Илии при Воздухоплавательной школе (1899 г.), Сретения Господня при Фельдъегерском корпусе (1899 г.), мученика Иулиана Тарсийского при Кирасирском Его Императорского Величества полку в Царском Селе (1899 г.), князя Александра Невского на Успенском кладбище (1900 г.), Суворовскую Кончанскую ввеликомученика Георгия при Николаевской академии Генерального Штаба (1900 г.), иконы Божьей Матери «Неопалимая Купина» при морском и сухопутном артиллерийских полигонах (1901 г.), великомученицы Анастасии при 148-м пехотном Каспийском полку (1903 г.), архангела Михаила при Московском полку (1906 г.), святителя Николая при Балтийском судостроительном и механическом заводе (1907 г.), святителя Николая при 18-м сапёрном батальоне (1908 г.), священномученика Евтихия Константинопольского при Уральской сотне лейб-гвардии Сводно-казачьего полка (1908 г.).