17 января 1895 г. Иоанн был назначен епископом Елисаветградским, вторым викарием Херсонской епархии. Исследователи полагают, что перевод был вызван конфликтом с архиепископом Амвросием. 23 августа 1895 г. стал епископом Нарвским, викарием Санкт-Петербургской епархии, а 31 августа того же года – ректором Санкт-Петербургской духовной академии. По словам Николая Никаноровича Глубоковского, «для нового ректора в новой академии всё было ново. Тут легко было растеряться, но прекрасные личные качества характера и души преосвященного Иоанна помогли ему с честию преодолеть все препятствия и с достоинством удержать за собою положение». 30 декабря 1895 г. Иоанн совершил монашеский постриг Арсения (Стадницкого; впоследствии митрополит Ташкентский), 31 декабря рукоположил его во диакона, 1 января 1896 г. – во иерея. Помимо управления академией Иоанн руководил несколькими епархиальными комитетами, был наблюдателем за преподаванием Закона Божия в светских учебных заведениях. В октябре-декабре 1898 г. временно управлял Санкт-Петербургской епархией, в связи с болезнью и смертью митрополита Палладия (Раева). 16 января 1899 г. Иоанн был назначен епископом Саратовским и Царицынским. Первое время у него не было викарного архиерея, лишь в 1901 г. на Вольскую кафедру был определён епископ Гермоген (Долганёв). Труды по управлению большой епархией подорвали здоровье Иоанна. С 15 июня по 1 августа 1901 г. он находился в отпуске, а епархией управлял епископ Гермоген. Осенью 1902 г. Иоанн был вызван для участия в заседаниях сессии Синода, во время которой 12 марта 1903 г. был уволен от управления епархией и назначен членом Московской синодальной конторы и управляющим Симоновым Новым московским в честь Успения Пресвятой Богородицы монастырём. Иоанн не получил возможности проститься с саратовской паствой, у духовенства и паствы остались самые лучшие воспоминания о его пребывании на кафедре. Игорь Корнильевич Смолич связывал поспешное увольнение Иоанна на покой с тем, что тот «проявлял явную оппозицию “синодальному духу”». Преемником Иоанна на Саратовской кафедре стал епископ Гермоген. В 1912 г., когда он был уволен с кафедры, некоторые публицисты отмечали, что, будучи викарием, он «выпирал» Иоанна из Саратова. Однако основной причиной того, что к осени 1902 г. главенствующая роль в Саратовском епархиальном управлении окончательно перешла к епископу Гермогену, было состояние здоровья Иоанна. Об этом писал епископу Гермогену обер-прокурор Синода Константин Петрович Победоносцев: «Саратов всегда был без викария, и Вас назначили только ради болезненного состояния Пр. Иоанна». В Симоновом монастыре Иоанн знакомился с новой богословской литературой, принимал участие в деятельности Московской духовной академии. 5 декабря 1908 г. Синод освободил Иоанн от должности члена Московской синодальной конторы и от управления Симоновым монастырём без выдачи пенсии. Он остался жить в обители, где ему была предоставлена низкая и тёмная келья. 11 февраля 1909 г. над Иоанном было совершено таинство елеосвящения. 14 февраля состоялось отпевание Иоанна, которое возглавляли епископы на покое Мисаил (Крылов), бывший Олонецкий, Иоанникий (Казанский), бывший Архангельский, и Григорий (Полетаев), бывший Омский, в сослужении многочисленного духовенства. Похоронен в склепе зимнего храма Симонова монастыря. Иоанн был награждён орденами св. Станислава третьей степени (1879 г.), св. Анны третьей (1883 г.), второй (1891 г.) и первой (1896 г.) степени, св. Владимира третьей степени (1894 г.).