В феврале 1919 г. яранский Анно-Пророчицкий монастырь был первый раз закрыт советскими властями, а официально упразднён в 1921 г. Часть монашеской общины смогла остаться при монастырском храме, однако Матфей с несколькими членами братии ещё раньше удалился на бывшую монастырскую пасеку около села Большая Рудка Яранского уезда, в 25 верстах от монастыря. Незадолго до революции на пасеке начали возводить скит, но достроить его не успели. В этих постройках и поселились монахи. Матфей жил в келье, отделённой от общего корпуса; посещал церковь в селе Большая Рудка. Вскоре местные власти разорили скит и изгнали монахов. Тогда Матфей поселился близ деревни Ершово. Раньше там была дача Анно-Пророчицкого монастыря, куда старец иногда удалялся для молитвенного уединения. Теперь жители Ершова построили для Матфея избушку, в которой он провёл оставшиеся годы жизни. На службы Матфей ходил в церковь в село Беляево. Стоял всю службу за печкой и молился в уединении. Приходил он всегда первый, а уходил последний. Кроме храма в Беляеве Матфей ходил в церковь села Соболи и в Анно-Пророчицкий монастырь. Есть свидетельства, что он также посещал Яранск, заходил в церкви, где говорил проповеди. Матфей много сделал для поражения обновленчества на Яранской земле. Обновленцы отмечали, что их неудачи были предопределены работой, которую вёл «многочисленный сонм иноков и инокинь монастырей вроде о. Арсения, о. Матфея, о. Афанасия, о. Геннадия, Дарьюшек, Марьюшек, Дуняшек», ходивших по приходам и деревням. Страждущие шли к нему нескончаемым потоком, в последние годы Матфей старался принять всех. Его посетил и епископ Нектарий (Трезвинский) во время короткого служения на Яранской кафедре. На допросе в ОГПУ 8 мая 1925 г. епископ Нектарий (Трезвинский) рассказал: «…Перед отъездом из г. Яранска я пешком ходил в починок Ерши, который находится в расстоянии 35 вёрст от города. Там проживает иеромонах старец Матвей, ходил к нему я просто для того, чтобы посмотреть, как он живёт, и отдать свой визит. К нему я пришёл полчаса 12 ночи и пробыл до 10 утра, а затем отправился обратно в Яранск». Согласно преданию, Матфей предсказал епископу Нектарию (Трезвинскому) предстоящие ему тяжкие испытания и мученическую кончину. Сохранились документальные свидетельства о жизни Матфея в эти годы. Один из местных советских служащих так описывал Матфея в воспоминаниях: «Последний раз я встретил Матвея недалеко до его смерти летом 1925 г. Работал я тогда в Яранском лесхозе и при отводе лесосечного фонда переходил с лесниками в другой квартал через хутор Ершово, где была бывшая летняя дача Пророческого монастыря. Матвей сидел на брёвнах и вёл проповедь перед собравшимся народом, стараясь внушить людям недоверие к новому строю, который он сам глубоко ненавидел. Здесь же тайно от советской власти Матвей совершал церковные обряды. Живя в лесу на границе двух районов, за счёт приношения мирян, он чувствовал себя свободно, ведя проповедническую деятельность».