Власти были обеспокоены массовым почитанием Матфея. В одном из партийных отчётов за 1937 г. говорилось: «Церковники г. Яранска для поднятия «престижа» церкви, увеличения своих доходов, а главное для привлечения в церковь массы верующих и оказания на них тлетворного влияния пытались открыть «мощи» бывшего иеромонаха авантюриста Матвея. Прославил его «святость» приехавший в Яранск архиерей Шкурко... Развертывалось паломничество к могиле «святого», приходили религиозные фанатики, проживавшие от г. Яранска за 60 км». 30 сентября 1937 г. епископ Вячеслав (Шкурко) был арестован и вскоре казнён; среди предъявленных ему обвинений было совершение панихид на могиле Матфея. Могила старца находилась близ действовавшей кладбищенской Вознесенской церкви. Власти пытались остановить паломничество к могиле Матфея, закрыв в 1940 г. кладбищенский храм. К 1948 г. Вознесенская церковь уже не имела крестов, ограды и сторожки. Верующие неоднократно направляли прошения в Московскую патриархию и в органы власти вернуть им храм, обосновывая это тем, что возле него покоится «богоугодный старец священноиеромонах Матвей, к которому как к молитвеннику и ходатаю пред Престолом Господа славы еженедельно издалека тянутся сотни паломников, причём отмечено, что некоторые из почитателей старца по молитвам его получали благодать, между тем, могила, где погребён старец, находится в пренебрежении. Итак всё взятое вместе побуждает нас, христиан, восстановить забытый Яранский кладбищенский храм» (Государственный архив Кировской области). Власти отказались открыть Вознесенскую церковь, в 1955 г. она была разрушена. Несмотря на это, паломничество на могилу Матфея стало одним из самых массовых в Кировской области; исследователи сравнивают его только с Великорецким крестным ходом. Согласно отчётам уполномоченного Совета по делам РПЦ по Кировской области и областного управления КГБ, в середине 1950 гг. в Яранске ежегодно в конце мая на могилу Матфея приходило до 1 тыс. верующих. Среди паломников были верующие из Яранского, Тужинского, Кикнурского, Санчурского, Салобелякского, Шарангского и Пижанского районов Кировской области, а также из Марийской АССР и Горьковской области. В связи с развёрнутой в стране с конца 1950 гг. массовой антирелигиозной кампанией руководство Кировской области и Яранского района предпринимали активные действия по ликвидации паломничества к почитаемой могиле Матфея.