Коллеги и ученики уважали Иоанна за праведную жизнь, отмечали его высокие человеческие качества, педагогический талант. 3 июня 1934 г. архиерейский Синод РПЦЗ определил Иоанна быть епископом Шанхайским, викарием Китайской и Пекинской епархии. Хиротонию, состоявшуюся 10 июня в Белграде в русском Троицком храме, возглавил митрополит Антоний (Храповицкий). Иоанн прибыл в Шанхай 4 декабря 1934 г. и сумел быстро уладить разногласия между православными приходами. При Иоанне в Шанхае было завершено строительство собора в честь иконы Божьей Матери «Споручница грешных». Иоанн ежедневно бывал на службах, старался причащаться каждый день. Поражал присутствовавших силой и проникновенностью своей молитвы. Окормляя православных разных национальностей, в дни особо почитаемых ими праздников служил и проповедовал на греческом и сербском, а также на китайском языке. Был строгий постник. В первую и последнюю седмицы Великого поста не ел, в остальные дни этого и Рождественского постов употреблял только просфоры. Ночи проводил обычно в молитве и, когда, наконец, силы его истощались, клал голову на пол, забываясь на несколько часов перед рассветом. Носил одежду из самой дешёвой ткани, простую лёгкую обувь без носков в любую погоду, часто ходил босой. Обладал даром прозорливости, по его молитвам совершались чудеса. Был строг во всем, что касалось церкви. Будучи знатоком богослужения, немедленно исправлял ошибки и упущения в порядке службы, от священнослужителей требовал строгого исполнения обрядов, не позволяя каких-либо вольностей или разговоров в алтаре. Был особенно внимателен к вопросам богослужения. Считался одним из наиболее авторитетных богословов РПЦЗ. Иоанн получил известность как благотворитель, был попечителем филантропических обществ. Организовал для сирот и детей бедных родителей приют во имя Тихона Задонского (воспитанниками приюта были около 3,5 тыс. русских и китайских детей), а также дом милосердия во имя Филарета Милостивого и общежития для бездомных во имя Сампсона Странноприимца. Посещал тюрьмы и больницы, психиатрические лечебницы, оказывая духовную помощь нуждающимся. Много заботился о духовном образовании, каждый год принимал экзамены по Закону Божию во всех русских школах и приютах епархии. В Шанхае при Иоанне действовали богословские курсы во имя Димитрия Ростовского, духовными беседами с детьми и подростками занималось братство Иоасафа Белгородского. Во время японской оккупации Шанхая (с 1937 г.), когда погибли два руководителя русского эмигрантского комитета, возражавшие против подчинения японцам, Иоанн объявил себя временным главой русской колонии, сохранил её самостоятельность во внутренних делах. Несмотря на опасности военного времени, продолжал навещать нуждавшихся. Организовывал сбор пожертвований для пострадавших от боевых действий.