Когда по его просьбе надворная советница Екатерина Виноградова пожертвовала будущей обители 3 десятины земли с лесом, святитель благословил отшельников Андроника и Пантелеимона начать строительство общежительной киновии. Были сооружены молитвенный дом во имя святителя Стефана и два жилых помещения. В мае 1856 г. в обитель был назначен первый настоятель – иеромонах Арсений, насельник Балаклавского во имя великомученика Георгия Победоносца мужского монастыря. В отчёте в 1857 г. он писал о состоянии Кизилташского монастыря: «...Кроме ветхого домика, имеется ещё 4 землянки, покрытые черепицею, где помещалось 11 человек братии. Они были собраны Андроником, который как сам, так и другие, не умеют хорошо ни читать, ни петь по-церковному». Архиепископ Иннокентий (Борисов), скончавшийся в 1857 г., завещал на содержание крымских монастырей 100 акций Русского общества пароходства и торговли. Часть этих акций полагалась и Кизилташскому монастырю. В том же году в киновии была освящена глинобитная церковь во имя святителя Стефана Сурожского. Андроник и Пантелеимон приняли монашество, после чего Андроник покинул монастырь и отправился на Афон, а Пантелеимон (в монашестве Пахомий) оставался в Кизилташском монастыре вплоть до своей кончины (1874 г.). 20 августа 1858 г., после того как иеромонах Арсений был переведён в Ферапонтов мужской скит Измаильского уезда Бессарабской губернии, настоятелем Кизилташского монастыря стал игумен Парфений. В годы Крымской войны (1853–1856 гг.) он окормлял офицеров и солдат в зоне боевых действий, за храбрость получил награды от правительства и Синода. После войны иеромонах Парфений, обладавший познаниями в инженерном деле, разработал проект подъёма кораблей, в сентябре 1854 г. затопленных в Севастопольской бухте. За несколько лет трудами игумена Парфения в Кизилташском монастыре были построены монашеские кельи, две гостиницы для паломников, сооружена мельница, устроены огороды и виноградники, скотный двор, хлев для коров и конюшня, к обители проложили дороги. Помимо работ в Кизилташском монастыре с 1862 г. игумен Парфений участвовал в строительстве церкви во имя преподобномученицы Параскевы в соседнем Топловском женском монастыре и был попечителем этой обители. С учреждением самостоятельной Таврической епархии (16 ноября 1859 г.) при епископе Таврическом и Симферопольском Алексии (Ржаницыне) в Кизилташский монастырь ссылали провинившихся клириков. Поскольку духовная консистория не выделяла средств на их содержание, все тяготы по обеспечению ссыльных ложились на плечи насельников. Так, игумен Парфений писал в отчёте: «В Кизилташе все эпитимийцы пользуются наравне с братией: трапезой, чаем два раза в день и порциями водки или вина в известное время...». Епархиальное начальство, направляя игумена Парфения в Кизилташ, полагало, что он сможет развернуть строительство в новооснованной киновии, а также преодолеет недоброжелательное отношение татар-мусульман, составлявших значительную часть населения Южного берега Крыма.