11 октября 1898 г. Освященный собор избрал Иоанна архиепископом Московским. Чин возведения на кафедру состоялся 16 октября. Комментируя эти события, Арсений (Швецов) 18 октября писал старообрядческому Белокриницкому митрополиту Афанасию (Макурову): «На таковое избрание его согласилось и всё московское духовенство, и все граждане... Благодарим Господа и за то, что и человек угодил на этот великий, высокий пост благочестивый и благоразумный, с хорошим даром слова поговорить противу наших врагов» (Российский государственный архив древних актов). 12 декабря 1898 г. съезд выборных Рогожского богаделенного дома (см. Рогожское кладбище), поддержав перевод Иоанна в Москву, принял на себя полное содержание архиепископии и постановил «выдавать на содержание вновь назначенному архиепископу Иоанну 3000 руб., его письмоводителю диакону – 1500 руб. и (за) наём квартир для них – 1000 руб., а всего пять тысяч пятьсот руб. приблизительно». В 1900 г. Иоанн отказался дать властям подписку с обещанием не титуловаться архиепископом Московским, написав, что именует себя старообрядческим архиепископом, за что был выслан в Тулу. В августе 1903 г. Иоанну было разрешено избрать место жительства по своему усмотрению, исключая Москву и Московскую губернию, в феврале 1905 г. он получил право жить в столицах. Иоанн поселился в Москве, сначала в Николоямском тупике, затем в построенном для него помещении при лечебнице имени Саввы Ивановича Морозова на Рогожском кладбище. После начала Русско-японской войны архиепископ уступил свои покои для нужд устроенного при Рогожском кладбище лазарета. С именем Иоанна связано возрождение старообрядчества в начале XX в., после публикации 17 апреля 1905 г. императорского указа «Об укреплении начал веротерпимости». Все значительные события последующего «золотого десятилетия» истории старообрядчества проходили с благословения и при деятельном участии архиепископа. В распечатании алтарей храмов Рогожского кладбища и в первой литургии там 17 апреля 1905 г. Иоанн без специального разрешения властей не мог принять участие. Первое архиерейское богослужение в храмах Рогожского кладбища состоялось 22 октября 1905 г. Сохранилось составленное Иоанном по просьбе выборных Московской старообрядческой общины Рогожского кладбища (МСОРК) извещение о своём служении в храме Рождества Христова 8, 14 и 21 ноября и 6 и 25 декабря 1905 г. (Российская государственная библиотека). С началом архиерейских богослужений и перемещением в 1910 г. старообрядческой архиепископии на Рогожское кладбище изменился статус рогожских храмов: по сути, они стали для старообрядцев кафедральными. В 1911 г. Иоанн по поручению выборных Рогожской общины выступил на соборе старообрядческих епископов с докладом о необходимости устройства в храмах Рогожского кладбища неподвижных престолов. Архиепископ подписал и утвердил своей печатью подлинник «Внутреннего распорядка в храмах Рогожского кладбища», датируемый 6 июня 1913 г.