Подражая Сергию Радонежскому, Арсений Комельский всегда носил одежды «худы, и многошвенныи, раздранны». Великий князь Василий III Иванович, будучи однажды в Троицком монастыре, был удивлён внешним видом игумена и спросил у братии: «Что у вас сей ваш игумен тако ходит. Братия же вси отвещавше: сии наш наставник, раб Божий, по Бозе живет и хощет нас оставити и в пустыну изыти» (Российская государственная библиотека). Монахи просили великого князя не отпускать преподобного. Арсений Комельский послушал Василия Ивановича и ещё некоторое время жил в монастыре, но, тяготясь обязанностями настоятеля, в 1527 г. тайно ушёл из обители. Он долго странствовал в поисках места, удобного для подвига безмолвия, и остановился в верховьях реки Бабайки (в 40 верстах от Вологды), где незадолго до его прихода явилась чудотворная икона Божьей Матери Одигитрии. Арсений Комельский соорудил келью рядом с местом явления иконы и жил в посте и молитве. Однако его уединение нарушалось множеством богомольцев, приходивших к иконе, и Арсений Комельский покинул это место. Впоследствии здесь возникла Арсениева пустынь на реке Масляне в честь иконы Божьей Матери Одигитрии (упразднена в 1764 г.). Сведений о пребывании Арсения Комельского на реке Бабайке нет в «Сказании», их сообщил Иван Петрович Верюжский, возможно, знавший какую-то другую редакцию жития или местные предания. Ища уединения, Арсений Комельский пришёл в болотистый и малопроходимый Комельский лес. У впадения реки Кохтыш (Коктыш) в реку Лежу (примерно в 25 верстах от Вологды) с плеч путника упала тяжёлая ноша. Святой решил отдохнуть на этом месте и увидел «солнечный луч и свет велии», сиявший близ реки Кохтыш. Арсений Комельский принял это за знамение Божье и остался жить здесь, основав монастырь. В феврале 1530 г. Арсений Комельский получил от великого князя Василия Ивановича жалованную грамоту, передавшую во владение монастыря земли на две версты вокруг, окрестным крестьянам запрещалось на монастырской территории рубить лес, ставить починки, охотиться и ловить белок. Однако местные жители, недовольные потерей угодий, разорили жилище преподобного, убили его келейника, тем самым принудив Арсения Комельского удалиться примерно за 30 верст на реку Шингорь, протекающую в Шилегодском лесу. Здесь святой водрузил крест и начал подвизаться «безмолвным житием». Впоследствии отшельника стали посещать иноки и миряне, искавшие совета и благословения, тогда он поставил храм (так возникла Александрова Коровина пустынь в Грязовецком уезде, упразднённая в 1722 г., её храм стал приходской Троицкой церкви).