8 июля 1890 г. изменился статус главного священника, и было учреждено звание «протопресвитера военного и морского духовенства», 12 августа того же года новый статус был закреплён за главным священником ведомства новым «Положением». Желобовский успешно занимался церковно-административной, просветительной и благотворительной деятельностью, с 1884 г. трудился в Комиссии по пересмотру «Положения об управлении церквами и духовенством военного и морского ведомств». «Положение», утверждённое императором 12 июня 1890 г., предусматривало объединение духовенства гвардии и гренадер, армии и флота под единым управлением. В ведении протопресвитера находились все церкви полков, крепостей, военных госпиталей и учебных заведений, за исключением Сибири, где дальность расстояний делала их подчинение епархиальным архиереям неизбежным. В 1892 г. с учреждением штатов Управления протопресвитера военного и морского духовенства и коллегиального Духовного правления при главном протопресвитере (из присутствия и канцелярии), а также с установлением новых окладов военно-морскому духовенству «Положение» вошло в полную силу. Контроль над его практическим применением осуществлял протопресвитер. В 1893–1898 гг. под руководством Желобовского были разработаны разъяснения к «Положению»: о порядке проверки и расходования денежных сумм в храмах военного и морского ведомств, о хранении утвари, о составлении исповедных списков, о ведении и хранении дел по благочиньям, об увольнении военного духовенства в отпуска. Для правления и архива в том же году был построен дом (Фурштатская ул., 29), в котором 13 ноября 1893 г. Желобовский освятил храм во имя князя Александра Невского. С 1889 г. лично проводил ревизию подведомственных учреждений, посетил такие отдалённые окраины, как Торнео (ныне Торнио), Асхабад (ныне Ашхабад), Ташкент, Карс, Баку, Севастополь, Тифлис (ныне Тбилиси), Петровск-Порт (ныне Махачкала); в Петровск-Порте в 1891 г. освятил церковь во имя Александра Невского. В 1885–1890 гг. Желобовский повсеместно ввёл обязательные проповеди в церквах, внебогослужебные беседы и религиозно-нравственные чтения для нижних чинов. Такие беседы он практиковал ещё в 1880 г. в Кавалергардском полку, а с 1882 г. и в частях Гвардейского корпуса столицы. Общество распространения религиозно-нравственного просвещения в духе православной церкви оказывало содействие в проведении внебогослужебных бесед в ведомстве военного и морского духовенства (Желобовский являлся членом совета общества). В 1889 г. он заново разработал программу по преподаванию Закона Божия в полковых учебных командах, устроил при войсковых частях церковноприходские школы для офицерских и солдатских детей. В 1890–1898 гг. военнослужащим было предписано говение во время постов, знание основных молитв и десяти заповедей. Желобовский также требовал от полковых священников препятствовать распространению сектантства в войсках (в частности штундизма). С 1 января 1890 г. издавал журнал «Вестник военного духовенства» с периодичностью два номера в месяц. В 1911 г. на основе публикаций журнала за 1890–1910 гг. был издан 3-томник лучших проповедей, применённых к военному быту. Желобовский способствовал изданию с 1 января 1906 г. духовно-нравственного патриотического журнала «Доброе слово» для крестьян и воинов.