25 ноября 1965 г., в день увольнения на покой митрополита Мануила, Иоанн был определён епископом Сызранским, викарием Куйбышевской епархии и временно управляющим Куйбышевской и Ульяновской епархиями. 12 декабря хиротонию Иоанна, состоявшуюся в Сергиевом трапезном храме Троице-Сергиевой лавры, возглавил митрополит Крутицкий и Коломенский Пимен (Извеков; впоследствии Патриарх Московский и всея Руси). В хиротонии участвовали восемь архиереев, в том числе митрополит Мануил. 20 марта 1969 г. Иоанн был утверждён правящим епископом Куйбышевским и Сызранским, с сентября 1972 г. также временно управлял Чебоксарской епархией. После антицерковной кампании при Никите Сергеевиче Хрущёве в Куйбышевской епархии оставалось 18 действующих приходов. Первоочередной задачей Иоанна было предотвратить дальнейшее разорение и закрытие церквей. Храмы ремонтировались и благоустраивались, некоторые после пожара были фактически отстроены заново. Иоанн регулярно объезжал вверенные ему епархии, совершал богослужения, собиравшие многочисленных верующих. Активность архиерея вызывала беспокойство властей. Согласно отчёту по составу епископата РПЦ за 1974 г. заместителя председателя Совета по делам религий Василия Григорьевича Фурова, Иоанн относился к группе архиереев, наименее лояльных к советской власти. 9 сентября 1976 г. Иоанн был возведён в сан архиепископа. 14 сентября 1980 г. награждён орденом Сергия Радонежского второй степени, 19 ноября 1985 г. – св. Владимира второй степени. Иоанн принимал участие в поместном Соборе 1988 г., посвятил своё выступление вопросам духовного образования. Предложил уделять больше внимания просвещению верующих в приходах, высказался за организацию в епархиях катехизаторских курсов. Выразил озабоченность в связи с распространением среди преподавателей духовных школ неправославных воззрений, предложил «создать своего рода цензуру, которая бы проверяла преподавателей и профессоров с точки зрения их православного направления». 11 февраля 1988 г. по совокупности богословских и церковно-исторических трудов и прочитанных в Ленинградской духовной академии лекций по новейшей церковной истории Иоанну была присуждена степень доктора церковной истории. В конце 1980 гг. государственная политика по отношению к РПЦ смягчилась, и в Куйбышевской епархии было основано около 20 новых приходов; появилась возможность добиваться возвращения православным ещё 54 храмовых зданий, начать реставрацию церквей в 15 районах Куйбышевской области. Было возобновлено издание газеты «Епархиальные ведомости», открывались богадельни, благотворительные столовые и воскресные школы. Иоанн возглавил общественное движение за возвращение городу Куйбышеву исторического названия – Самара. 20 июля 1990 г., после избрания Ленинградского митрополита Алексия (Ридигера) Патриархом Московским и всея Руси, Иоанн был назначен митрополитом Ленинградским и Ладожским, постоянным членом Священного Синода РПЦ. 9 августа в Николо-Богоявленском кафедральном соборе Ленинграда состоялись интронизация Иоанна и его первая встреча с паствой.