В 1818 г. тот же Филарет (Дроздов), в то время уже епископ Ревельский, дал о Гермогене отзыв, лестный для него, как монаха, и невыгодный для него, как инспектора: «При основательно добром расположении духа и образа жизни полезен Академии более примером, нежели наставлением и управлением, частью по слабости здоровья, которое препятствует ему в напряжении мысленных сил, частью по такой склонности к отвлечённой жизни, которая иногда неблаговременно увлекает его внимание от предметов внешних его обязанностей по званию наставника и блюстителя нравственности юношей». На основании этого отзыва Комиссия 29 июля 1818 г. постановила уволить Гермогена от училищной службы «впредь до усмотрения по слабости здоровья, препятствующей ему проходить сие звание с должным напряжением сил», и представила его на вакансию настоятеля Андроникова монастыря, куда он и был назначен 19 августа 1818 г. С исполнением обязанностей настоятеля Гермоген соединял исполнение обязанностей члена консистории и надзирателя Единоверческой типографии. В 1832 г. был назначен членом комиссии, свидетельствовавшей мощи Святого Митрофана Воронежского, и при открытии мощей был награждён орденом Святого Владимира третьей степени. В Андроникове монастыре благодаря пожертвованиям равных благотворителей Гермоген отделал заново церкви и устроил новые приделы. Спасский собор был расписан внутри и снаружи; в нём был устроен новый иконостас и серебряная одежда на престол. Архангельская церковь была также расписана, снабжена новым иконостасом и при ней были устроены приделы Иоанна Предтечи и Александра Команского. В колокольне была восстановлена церковь Симеона, Сродника Господня. Был слит и колокол в 400 пудов. При монастыре была учреждена в 1826 г. в небольших, правда, размерах Феодоровская больница для «заштатных дряхлых старцев». По отзывам современников, Гермоген был «не из последних проповедников своего времени», но напечатано лишь одно его надгробное слово статской советнице Смольянской (1821 г.), в котором находится «изображение торжественного вшествия подвигами веры украшенного христианина во врата горняго Иерусалима». Строгий аскет, Гермоген отличался кротостью, снисходительностью и молчаливостью, не пропускал ни одной церковной службы. Часто уединялся для молитв в запущенный монастырский сад, где оставался иногда по нескольку суток без пищи. Обстановка его была самая простая. Его келейник говорил о нём: «Подавай ему одной травы, будет с удовольствием кушать и ничего не скажет». К родным Гермоген «горел» любовью и всячески помогал им, но был бессребреником в полном смысле слова и деньги считал не рублями, а числом ассигнаций, которые келейники безбожно подменяли ему мелкими. Общий отзыв о Гермогене был таким: «Ангел, а не человек». Здоровье его было слабое, и долгие годы он страдал «нервною болезнью, соединённой с постоянным мокротным кашлем». Умер 19 июня 1845 г. и был погребён близ алтаря Спасского собора (но по пристройке к собору Успенского придела могила Гермогена подошла под придельный алтарь).