На последнем допросе Иосиф выразил готовность быть лояльным гражданином: «Никакой контрреволюции в своей среде я никогда не терпел и не стерплю и ничего противо-Советского и противореволюционного моим именем или авторитетом не позволю». В то же время он категорически отверг возможность какого-либо сотрудничества с властями в церковных делах: «Совестью своей торговать не намерен, и всякую попытку использовать свои силы вопреки декрету о невмешательстве в дела чисто церковные и духовные – встречу отпором, ничуть не боясь погрешить этим против Власти Гражданской, если только она верна своим же собственным декретам и духу своих постановлений о свободе веры и совести каждого». Иосиф заявил о готовности пострадать ради веры за свои убеждения: «Я иду только за Христом, по разумению своего какого ни на есть разума, и этого с меня довольно. Итак, моё последнее слово: мне дорога свобода, но, если она послужила бы только во вред мне или кому другому, ничего не имею и против неволи». 3 сентября 1931 г. Иосиф был приговорён Коллегией ОГПУ к пяти годам концлагеря, приговор был заменён высылкой в Казахстан на тот же срок. С осени 1931 г. жил в городе Аулие-Ата (в 1936–1938 гг. – Мирзоян, ныне Тараз), по некоторым данным, недолго работал бухгалтером на меднодобывающем комбинате. Проживал в небольшом казахском глинобитном доме на окраине города, где занимал комнату с верхним светом, обставленную очень скромно: в ней стояли грубо сколоченный стол, топчан, на котором спал митрополит, и пара стульев. В доме был устроен небольшой алтарь, Иосиф ежедневно служил литургию. Хозяйство митрополита вела монахиня Мария (Коронатова), бывшая учительница в Устюжне, последовавшая за ним в ссылку. Иосиф поддерживал отношения со своими сторонниками, принимал посланцев из разных областей страны. По некоторым данным, совершал тайные службы в нелегальных общинах иосифлян в соседних населённых пунктах. Вёл переписку с отбывавшим ссылку в Казахстане митрополитом Кириллом (Смирновым) и епископом Евгением (Кобрановым). По истечении в 1935 г. срока ссылки оставался на прежнем месте жительства. 24 июня (по другим данным, 23 сентября) 1937 г. арестован Мирзояновским районным отделом НКВД и помещён в тюрьму города Чимкента. Проходил по одному делу с митрополитом Кириллом и епископом Евгением, обвинялся в руководстве «контрреволюционной повстанческой организацией церковников». 19 ноября Особой тройкой УНКВД по Южно-Казахстанской области приговорён к расстрелу. Казнён вместе с митрополитом Кириллом и епископом Евгением в так называемой Лисьей балке под Чимкентом. Канонизирован РПЦЗ в 1981 г.