Во время осады Арелата франками и бургундами зимой 507/508 гг. строящийся монастырь был разрушен. На прежнем месте строительство монастыря больше не возобновлялось и было перенесено в черту города. Новое здание монастыря находилось в юго-восточной части Арелата на месте древнего баптистерия и соединялось с кафедральным собором. Торжественное открытие монастыря, посвящённого Иоанну Предтече, состоялось 26 августа 512 г. Для этого монастыря Кесарий составил особый устав («Правило для дев»), который несколько раз редактировал. Исследователи считают, что это был первый устав, написанный специально для женского общежительного монастыря. В 515 г. Кесарий получил от папы Гормизда письмо «Exulto», предоставляющее гарантии основанному им монастырю (об этих гарантиях Кесарий упоминает в своём «Завещании»). 6 сентября 524 г. в Арелате была освящена базилика в честь Святой Девы Марии, предназначенная для погребения монахинь. Около 525 г. настоятельница Кесария Старшая умерла и была погребена в базилике рядом с гробницей, приготовленной для самого Кесария. Её преемницей стала Кесария Младшая, которой было около 25 лет; для помощи ей Кесарий определил своего племянника, диакона Теридия, возможно, в качестве провизора (он усердно заботился о материальном обеспечении монахинь). Около 525 г. Кесарий составил вторую редакцию «Правила для дев» в соответствии с Уставом Августина Блаженного, а около 530 – 534 гг. добавил к «Правилу...» третью часть, учение которой было более оригинальным. 22 июня 534 г. была утверждена окончательная редакция «Правила...». К подписи Кесария были добавлены подписи семи епископов и одобрение папы Гормизда. Женский монастырь до конца дней Кесария оставался предметом его отеческой заботы, последним письменным свидетельством которой стало его «Завещание». В 530 гг. Остготское королевство было разрушено, Прованс вошёл в состав королевства франков. Похвала Жития в адрес короля Хильдеберта свидетельствует, что Кесарий с радостью воспринял переход под власть православного короля. В 538 г. Кесарий получил от папы Вигилия письмо «Si pro observatione caelestium», которое было посвящено поставленному королём Теодебертом вопросу о том, что делать с человеком, который вступил в брак с женой своего брата. Исследователи отмечают, что Кесарий не участвовал ни в одном из Соборов, которые проводились в Северной Галлии после 537 г., и не посылал на них своих представителей. Инициативы Кесария по реорганизации Галльской церкви не получили дальнейшего развития на церковных Соборах во франкской Галлии. За несколько дней до смерти Кесарий приказал принести себя в основанный им женский монастырь, чтобы попрощаться с сёстрами, которых тогда было уже больше 200. Согласно хронологии, предложенной в XVII в., Кесарий умер 27 августа 543 г., в канун памяти Августина Блаженного, которого он глубоко почитал. Однако среди современных исследователей предпочтительной считается дата на год раньше – 27 августа 542 г. Кесарий был погребён в Арелате в базилике Святой Девы Марии. Частица его мощей в настоящее время покоится в кафедральном соборе св. Трофима в Арле. Некоторые предметы облачения Кесария (паллий, далматик и пояс) хранятся в Музее античного Арля. Впоследствии племянник Кесария диакон Теридий способствовал распространению правил Кесария.