Регулярно служил в лаврских храмах, всегда проповедовал (некоторые поучения этого периода были опубликованы в «Журнале Московской Патриархии», вошли в лаврский машинописный сборник «Крупицы слова Божия»), почитался как опытный духовник. В 1947–1949 гг. сотрудничал с редакцией «Журнала Московской Патриархии», где опубликовал несколько статей. 10 февраля 1949 г. Вениамин вновь был арестован, помещён в Бутырскую тюрьму, обвинён в «участии в антисоветской организации» по материалам 1939 г. Согласно приговору особого совещания МГБ МО, 15 апреля 1949 г. был выслан на поселение в район города Джамбула (ныне Тараз) Казахской ССР. Первые полтора года жил близ села Байкадам, работал сторожем в колхозе. Последнюю ссылку переносил крайне тяжело, не надеясь на возвращение, тем не менее, постоянно занимался интеллектуальным трудом: кроме богословских сочинений, составлял казахско-русский словарь (не опубликован). Неоднократно писал прошения на имя патриарха Алексия I исходатайствовать ему перед светскими властями разрешение на перевод в Джамбул и на участие в богослужении. После получения разрешения на переезд до сентября 1954 г. служил священником в Успенской церкви в Джамбуле. 4 сентября 1954 г. срок ссылки Вениамину был сокращён. С октября 1954 г. по январь 1955 г. нёс послушание настоятеля церкви пророка Илии в городе Серпухове Московской области. 1 февраля 1955 г. Вениамину определено быть епископом Саратовским и Балашовским. Хиротония, которую возглавили патриарх Алексий I и католикос-патриарх всей Грузии Мельхиседек III, состоялась 4 февраля в соборе Богоявления Господня Москвы. Управляя Саратовской епархией, Вениамин часто служил и проповедовал, несмотря на крайне болезненное состояние. Храмы, где он служил, всегда были переполнены молящимися. 12 мая 1955 г. Вениамин подал прошение в Генеральную прокуратуру СССР о реабилитации и определением судебной коллегии ВС РСФСР от 12 июня был реабилитирован «за отсутствием состава преступления». Скончался в день памяти пророка Илии, отслужив литургию. Отпевание совершили Казанский и Чистопольский архиепископ Иов (Кресович) и Астраханский и Сталинградский епископ Сергий (Ларин). Погребён на городском кладбище Саратова. Исследователи отмечают, что для богословского наследия Вениамина характерны фундаментальный анализ догматических положений, академизм, являющийся следствием свободного владения богословской литературой, хороший литературный язык. В его сочинениях отразился трагический опыт, пережитый церковью в послереволюционную эпоху. Особенностью трудов Вениамина является изложение учения православной церкви сквозь призму личного духовного опыта, иногда – эмоционального восприятия, что сближает его наследие с богословием русской эмиграции. Для его писем характерны тонкое понимание внутренней жизни, глубокий анализ душевных состояний, здравый смысл, большой пастырский опыт.