Виссарион подвергался обвинениям в любоначалии, сребролюбии, в растрате средств, получаемых из России, в том, что он устраивает пиры с приближёнными. Он неоднократно пытался сложить с себя обязанности игумена, чтобы избежать наветов, однако, уступая уговорам, оставался на этой должности. Не имея достаточно земли, скит существовал благодаря помощи из России. Виссарион направил туда для сбора пожертвований молодого иеромонаха Феодорита, будущего игумена. Виссарион был сторонником общежительного устава, который в то время действовал только в некоторых афонских обителях. Попечением игумена скит постепенно приобретал новые территории. У Виссариона возникли разногласия с почитаемым на Афоне и в России духовником Нифонтом, который покинул монастырь, забрав по афонскому обычаю свой вклад, но игумен уговорил его остаться духовником братии. Тяжёлым испытанием для скита стала Крымская война, прервавшая на время общение с Россией. В 1857 г. Виссарион был награждён наперсным крестом и архимандритской мантией, что вызвало новую вспышку гнева его недоброжелателей в Санкт-Петербурге. Виссарион прожил на Афоне 33 года, 13 из них был игуменом. По воспоминанию современников, имел чистосердечный и простой нрав, часто сам готовил трапезу для гостей скита, но при этом оставался строгим аскетом и в тяжёлые времена на несколько дней затворялся в келье для молитвы. Был тонким ценителем церковной музыки. На Афоне Виссарион пользовался уважением как у русских, так и у греков. О его кончине получили извещение два подвижника, независимо друг от друга видевшие полную луну и множество звёзд, спустившихся на Андреевский скит. В отпевании участвовали архиепископ и 60 священнослужителей, глава турецкой администрации в течение сорока дней приходил на могилу Виссариона. Сохранилось несколько свидетельств о чудесах, совершившихся по молитве Виссариона. Однажды, в день памяти Антония Великого (17 января), когда в скит пришло большое число паломников, обнаружился недостаток вина; игумен, помолившись перед иконой преподобного, велел разливать вино, однако в сосуде его содержание не убавлялось. Согласно монастырскому преданию, по молитве Виссариона исцелились два вора, которые забрались в скит за орехами, собранными братией, и, наполнив мешки, ослепли. Сам Виссарион дважды был чудесно исцелён с помощью скитской иконы «Скоропослушница Афонская». Незадолго до смерти Виссарион сподобился явления Афанасия Афонского. В другом видении он получил извещение о будущем процветании скита, увидев множество овец на дворе скита, в то время как над ним сияла икона Спасителя. По афонскому обычаю, останки Виссариона были извлечены из могилы через три года после кончины. Их янтарный цвет и благоухание свидетельствовали о святости подвижника. Вскоре после смерти игумена в России прославилась главная скитская икона Божьей Матери «В скорбех и печалех утешение», обитель стала известна в России, и у неё появились многочисленные попечители. Переписка Виссариона с братом Иваном, Феодоритом и некоторыми другими корреспондентами, частично опубликованная в Летописи Андреевского скита, по мнению исследователей, представляет не только историческую, но и нравственно-духовную ценность.