Занимая пост епископа Арелата в течение сорока лет, Кесарий проявил себя как блестящий проповедник, ревнитель монашества и мудрый церковный политик, отстаивавший интересы церкви перед светскими властями. В «Завещании» Кесарий писал об освобождении Арелатской церкви от всех налогов его стараниями. Большое внимание Кесарий уделял воспитанию клириков и христианскому просвещению паствы. Около 505 г. Кесарий был сослан вестготским королём Аларихом II в Бурдигалу (ныне Бордо, Франция) по обвинению в сотрудничестве с бургундами, сфабрикованному епископским нотарием Лицинианом. Находясь в Бурдигале, Кесарий обличал арианство готов. Ко времени пребывания в Бурдигале исследователи относят первое сообщение Жития о совершённом Кесарием чуде – во время пожара огонь был остановлен по молитве Кесария, когда к нему обратились горожане. C этим чудом, о котором стало известно повсюду, Житие связывает и оправдание Кесария от всех ложных обвинений. Возвращение Кесария в Арелат исследователи также связывают со стремлением Алариха II упрочить власть путём активного сотрудничества с галльской духовной и светской элитой, а также с его планами по кодификации законодательства для своих галло-римских подданных (будущий «Бревиарий Алариха») и построению «национальной церкви». Вернувшегося в Арелат в начале 506 г. Кесария с радостью встретила паства. В сентябре 506 г. Кесарий впервые председательствовал на церковном Соборе, созванном в Агате (ныне Агд, Франция) по инициативе и при поддержке Алариха II. На Собор прибыли 24 епископа (в том числе три митрополита других провинций), а также замещавшие своих епископов восемь священников и два диакона – в общей сложности из восьми галльских провинций, так что было представлено большинство православного епископата Вестготского королевства. Документы Собора в Агате содержат 88 канонов, касающихся преимущественно церковно-дисциплинарных вопросов, а также церковной собственности и упорядочения богослужения (характерно, что решения Собора, проведенного в королевстве вестготов, не упоминают об арианстве). Из письма Кесария епископу Рурицию Лиможскому исследователи сделали вывод, что он намеревался провести очередной Собор в следующем году в Толозе (ныне Тулуза, Франция), пригласив на него епископов Испании, которая также находилась во власти вестготов, однако этим планам не суждено было осуществиться. Во время осады Арелата франками и бургундами зимой 507/508 гг. Кесарий вновь был арестован по обвинению в сочувствии осаждающим, когда к тем примкнул молодой клирик, родственник Кесария (упоминание о пережитом во время этой осады исследователи встречают в одной из проповедей Кесария). После снятия осады войсками короля Теодориха Великого летом 508 г. Арелат оказался под властью остготов. В городе появилось множество пленных франков и бургундов, и Кесарий прилагал все усилия для их поддержки и выкупа из плена, в том числе на средства от продажи церковного имущества и богослужебных сосудов. Необходимость выкупа пленных Кесарий объяснял тем, что в плену они могли быть обращены в арианство или иудейство. Исследователям известно, что церковную собственность употреблял в пользу пленных предшественник Кесария – Иларий Арелатский.