Сбор средств на учреждение богадельни был организован духовенством армии и флота к 45-летнему юбилею служения Желобовского в священном сане. Собранная сумма в 20 тыс. руб. позволила начать ходатайство о строительстве. С разрешения Святейшего Синода были задействованы суммы из доходов свечного завода военно-духовного ведомства. Для содействия постройке и для контроля за расходованием материалов и денежных средств был образован Строительный комитет во главе с Желобовским, в который вошли священники квартировавших в Гатчине лейб-гвардии Кирасирского полка и 23-й артиллерийской бригады. 5 октября 1906 г. Желобовский освятил Гатчинскую богадельню, 2 октября 1890 г. на Братском собрании военного духовенства под его председательством было принято решение об устройстве свечного завода для военно-духовного ведомства и организован комитет военно-свечного завода. Открытие завода (с храмом) в с. Зелино Старицкого уезда Тверской губернии (1892–1893 гг.) улучшило финансовое положение ведомства, позволило увеличить расходы на благотворительность. Желобовский входил в Совет детских приютов, был членом Общества попечения о бедных и больных детях, Общества попечения о воспитании детей артиллерийских офицеров, Благотворительного общества при церкви морского госпиталя. В 1878 г. он стал одним из основателей, а с 1897 г. – председателем Общества вспомоществования недостаточным студентам (в 1898 г. избран почётным членом) Санкт-Петербургской духовной академии. Желобовский был почётным членом Училищного совета при Святейшем Синоде (1891 г.), Санкт-Петербургского общества вспомоществования бывшим питомцам Новгородской духовной семинарии (1909 г.), оказывал содействие получению образования сыновьями военных священно- и церковнослужителей (особенно законоучителей), в 1897 г. для улучшения их содержания была создана комиссия. С 1899 г. священнические места в военно-духовном ведомстве по преимуществу предоставлялись лицам с высшим академическим образованием или окончившим семинарию по первому разряду. Желобовский был почётным блюстителем Белозерского духовного училища, помог строительству и обустройству его нового здания, поддерживал Комитет общества вспомоществования нуждающимся ученикам училища. На основе его капитала в Белозерском духовном училище была учреждена особая студенческая стипендия, ещё три были назначены в связи с 40-летием (1899 г.) его пастырского служения: в Новгородской духовной семинарии, Санкт-Петербургской духовной академии и для воспитания сирот в училище девиц духовного звания, в частности Царскосельском. Желобовский финансировал сооружение каменных зданий на родине: построил церковноприходскую школу в Белозерском уезде Новгородской губернии (на протяжении 30 лет он являлся её попечителем), в 1900 г. учредил приют-богадельню для престарелых, увечных, неизлечимо больных и сирот прихода в память своих родителей Алексия и Евдокии. Желобовский выделил капитал на обеспечение школы и приюта, устроил при них библиотеки, в 1906 г. отремонтировал приходскую Троицкую церковь, где служил его отец, снабдил утварью, начал строительство колокольни, построил дом для причта и сторожа. При нём была организована похоронная касса служащих по ведомству протопресвитера (1901–1902 гг.), по инициативе главнокомандующего с 1887 г. особое внимание было обращено на придание большей торжественности захоронениям нижних чинов, началось устройство военных кладбищ с сооружением на них церквей.