Иринарх носил настолько «ветхие ризы», что братия насмехалась над ним, а монастырские власти подвергали наказанию: его оставляли подолгу стоять на морозе, заключали в монастырскую тюрьму без пищи и питья. Однажды в сильный мороз Иринарх пошёл в Ростов, чтобы заплатить долг «некоего христолюбивого мужа», оказавшегося под арестом, и отморозил ноги, после чего три года тяжело болел. После того как однажды Иринарх был послан на работы, из-за которых он лишился возможности посещать богослужения, святой ушёл в Авраамиев ростовский в честь Богоявления мужской монастырь, где стал келарем. Иринарха огорчала неумеренность насельников, расточавших монастырские запасы; во сне ему явился Авраамий Ростовский и повелел выдавать всё требуемое невоздержанным монахам, ибо после смерти они «взалчут вовеки». В Авраамиевом монастыре на литургии, во время пения Херувимской, Иринарх получил извещение свыше о кончине матери, что подтвердил брат Андрей, который вскоре пришёл в обитель; вместе с ним подвижник отправился на погребение. В Житии рассказывается, что странствовавший по лесным дорогам Иринарх защищал себя крестным знамением от волков и медведей. Чтобы избавиться от почётной келарской службы, Иринарх оставил Авраамиев монастырь и поселился в Лазаревском монастыре в Ростове, где жил уединённо в келье. Там святого посещал блаженный Иоанн Большой Колпак. Иринарх страдал от разлуки с Борисоглебским монастырём. Св. князья Борис и Глеб, явившиеся Иринарху во сне, повелели ему вернуться в обитель, и вскоре преподобный получил приглашение от игумена, который предлагал прислать за ним подводу. Однако Иринарх ответил, что дойдёт сам, «а уже ему на себе носящу железа тяжкая и на ногах пута». В монастыре Иринарху выделили келью. В храме от иконы Спасителя святой услышал повеление уйти в затвор, и игумен Варлаам (бывший ключарь московского Архангельского собора) благословил подвижника. Иринарх жил в Борисоглебской обители до кончины с перерывом на год, когда из-за гонений от игумена Ермогена II (1589/1590 – 1598 гг.) святой был вынужден вернуться в Лазаревский монастырь. Игумен Ермоген II преследовал Иринарха за то, что святой не пил «хмельного» и учил других жить так же. В Житии рассказывается, что Иоанн Большой Колпак посещал Иринарха в Борисоглебском монастыре. Он предсказал затворнику его грядущее молитвенное и пророческое служение и испытания, которые придётся претерпеть в Смутное время: «Даст тебе Бог коня, и никто не может на том коне, от Бога данном, ездити и на твоём месте после тебя сести… Дал тебе Господь Бог от востока и до запада наказати, и научити, и по всей вселенней учеников наполняти землю, и от пьянства весь мир отводити. И для того беззаконного пьянства наведёт на землю Господь Бог иноплеменных. И те бо твоему коню подивятся и почюдятся многому страданию. И меч их тебя не вредит, и они тебя прославят паче верных». Блаженный Иоанн благословил Иринарха на ношение вериг, которые иносказательно назвал «конём», и повелел изготовить дополнительно к имевшимся веригам Иринарху «100 медных крестов по полугривенке каждый» (весом более 1 кг). Друзья святого, посадские люди Иван и Василий, принесли ему медный крест и железную палку.