Насельник скита монах Герасим раз в 15 дней приносил ему сухари и воду. Монах Герасим неоднократно был свидетелем того, как Илариону Грузину являлись демоны. Однажды он нашёл старца полуживым, избитым «бесчисленными полками бесов, идущими к его пиргу (башне) от самых Святопавловских песков, на протяжении расстояния получасового пути». Илариона Грузина вынесли из башни, позвали иеромонаха Венедикта (Киотишвили), и тот убедил отшельника оставить затвор. Старца перевели в келлию св. Харалампия, «где попечение о нём нёс о. Венедикт», затем в дионисиатскую кафизму апостола Иакова, брата Господня. Но поскольку вскоре в Дионисиате среди братии возникли споры, с какой частотой следует принимать причастие, и каждая сторона пыталась заручиться поддержкой Илариона Грузина, старец спустя два месяца перешёл в Иверский монастырь, где прожил шесть месяцев (1836 г.). Здесь он занялся разборкой грузинских книг и составил первый каталог грузинской библиотеки. Иеромонах Антоний Святогорец указывает также, что Иларион Грузин сделал из книг и рукописей извлечения (в основном, Жития святых), составившие 12 томов, которые под названием «Цветник» и без указания автора издал на грузинском языке в России игумен Зографа. Оправившись от болезни, Иларион Грузин перешёл в иверскую келлию апостола Иоанна Богослова, где подвизались грузинские монахи, и где он «нашёл истинное безмолвие». Двое братьев – каллиграф Макарий и Савва; впоследствии известный афонский подвижник старец Савва Новый (1821–1908 гг.) – упросили его взять их под своё начало. Иларион Грузин был рад ученикам-грекам: Савва помогал ему совершенствоваться в греческом языке. По просьбе русских монахов Иларион Грузин принимал исповедь в Русском монастыре великомученика Пантелеимона (Русике). Чтобы избежать празднословия, Иларион Грузин уходил на пять–десять дней к старцу Венедикту (Киотишвили) в иверскую келлию пророка Илии. Однако и там страждущие находили его, и старец в скором времени перебрался в построенную для него келлию св. Архангелов, а в 1843 г. перешёл в дионисиатскую келлию апостола Иакова, брата Господня. Отказываясь от звания духовника, Иларион Грузин всё же был вынужден принимать приходящих за духовным советом. Вскоре его стали называть «духовником духовников Афона». Нуждаясь в уединении, он периодически уходил на несколько дней в дионисиатскую кафизму св. Онуфрия. В августе 1849 г. Илариона Грузина посетил церковный историк, писатель Андрей Николаевич Муравьёв, наслышанный о подвижнике от Платона Игнатьевича Иоселиани, изучавшего на Афоне грузинские манускрипты. А.Н. Муравьёв назвал старца «неоценённым сокровищем – отшельником, каких мало на Афоне» и упомянул о том, что старец «ради крайнего смирения отказался от священнослужения».