Ириней получил указ об увольнении не в печатном, а в письменном виде. Он выразил сомнение в его подлинности, отказался оставлять кафедру и призвал городское население поддержать своего архиерея. Эти события вошли в историю как «бунт архиепископа Иринея». Император Николай I потребовал от Синода разобраться в действиях Иринея и при необходимости снять с него сан. По распоряжению обер-прокурора Синода князя Петра Сергеевича Мещерского указ об отстранении Иринея от должности был срочно отпечатан в количестве 500 экз. и отправлен генерал-губернатору Восточной Сибири для распространения по Иркутской епархии. 22 октября того же года, получив печатный экземпляр указа, Ириней подчинился. 26 ноября он был вывезен из города под конвоем и 18 декабря того же года доставлен в Вологду. В Вологодском архиерейском доме были проведены допрос и медицинское освидетельствование архиепископа. 30 декабря 1831 г. Вологодский епископ Стефан (Романовский) сообщил в Синод о его полной вменяемости: «...Ни по разговорам, ни по телодвижениям, ни по другим действиям, никакого расстройства умственных способностей не замечается». В Прилуцком монастыре Ириней вёл подвижническую жизнь, много писал, в том числе ряд статей для духовных журналов. В 1837–1840 гг. Синод присылал к Иринею старообрядцев для их увещевания. В бумагах архиерея сохранилось его сочинение «О происхождении двуперстнаго, троеперстнаго и именословнаго крестного сложения». Вологодский епископ Стефан сочувствовал Иринею и хорошо отзывался о нём в донесениях Синоду. Следующий Вологодский архиерей, Иннокентий (Борисов), с любовью относился к ссыльному архипастырю. Указом Синода от 7 февраля 1839 г. Ириней получил разрешение совершать богослужения, это известие архиерей встретил со слезами. В ноябре 1841 г. по ходатайству Иннокентия (Борисова) Иринею дозволялся выход за пределы обители; он познакомился со многими жителями Вологды, принимал участие в делах монастыря, помогал бедным. Горожане любили и уважали архипастыря, считая безвинно пострадавшим, прозорливым и юродивым. 17 апреля 1848 г. Ириней был назначен настоятелем Толгского ярославского в честь Введения во храм Пресвятой Богородицы монастыря. 25 мая того же года под колокольный звон всех городских церквей он прощался с жителями Вологды, при выезде из города благословил его. В Толгском монастыре за два года до смерти Ириней приготовил для себя дубовый гроб, выкопал могилу около Спасской церкви монастыря, где и был погребён. Ириней был награждён орденами св. Анны второй (1818 г.) и первой (1829 г.) cтепени, св. Владимира третьей степени (1824 г.). После смерти в его бумагах было найдено много заметок, неоконченных статей, черновиков писем Московскому митроплиту Филарету (Дроздову), Новгородскому митрополиту Серафиму (Глаголевскому), Ярославскому архиепископу Нилу (Исковичу), Кишинёвскому епископу Иринарху (Попову), Тобольскому архиепископу Евлампию (Пятницкому) и проч. Большая часть книжного собрания Иринея, оставшегося в Иркутске, была передана в Иркутскую духовную семинарию, а в 1920 г. поступила в Иркутский государственный университет. Помимо печатных изданий XVIII–XIX вв. в библиотеке Иринея хранились и рукописные сочинения, в том числе «Хрисмологион, сиречь книга преречнословная» (XVII в.) Николая Спафария и «Молдавский летописец» (XVIII в.) архимандрита Варфоломея (Мазэряну).