Житие рассказывает о щедрости Кесария по отношению к пленным и о вызванном этой щедростью недовольстве среди арелатских клириков. В конце 512 г. последовал новый арест Кесария, которого обвиняли в незаконной продаже церковного имущества с целью выкупа пленных, а также поддержки недавно освящённого женского монастыря Иоанна Предтечи. Весной или летом 513 г. Кесарий был доставлен под конвоем в Равенну на суд остготского короля Теодориха, но при личной встрече Кесарий произвёл на Теодориха благоприятное впечатление, был им полностью оправдан и отпущен с дарами. Исследователи предполагают, что таким благожелательным отношением к епископу Теодорих хотел завоевать расположение римского населения своих новых владений. Кесарий сразу же продал серебряное блюдо, подаренное ему Теодорихом, и на вырученные средства выкупил пленных. В Житии сообщается также о чудесах, совершённых Кесарием в Равенне. На обратном пути из Равенны ранней осенью 513 г. Кесарий посетил Рим по приглашению папы Симмаха. В результате этой встречи Кесарию было даровано право ношения по всей Галлии паллия, а арелатские диаконы по примеру диаконов Римской церкви обязывались носить далматики (новые элементы облачения стали символическим выражением особого статуса Арелатского епископа). Сохранилось прошение, которое Кесарий подал лично папе Симмаху и в котором ходатайствовал о запрещении отчуждения церковных земель в Галлии, кроме случаев, когда от этого получат пользу монастыри. Он также просил запретить: поставление в клириков и епископов мирян, которые занимали высокую общественную должность, прежде чем они пройдут длительное испытание; свободный или насильственный брак постриженных монахинь; добиваться получения епископства посредством взяток; оглашение указа о выборах без согласия митрополита. Папа Симмах одобрил просьбы Кесария в своём письме «Hortatur nos» от 6 ноября 513 г.; впрочем, первую просьбу одобрил лишь частично: он разрешил не полное отчуждение, а временное использование доходов от церковных земель в пользу монастырей, достойных клириков и странников. Другим письмом («Sedis apostolicae»), адресованным всем епископам Галлии, папа подтвердил привилегии Кесария как митрополита. Отвечая на прошение Кесария, поданное аббатом Эгидием и нотарием Мессианом, письмом «Qui veneranda patrum» от 11 июня 514 г. папа Симмах утвердил Кесария папским викарием в Галлии и Испании. Задачей Кесария в качестве папского викария было следить за соблюдением интересов папы в Галлии, обращаться за разрешением в Рим по всем спорным вопросам и сопровождать рекомендательными письмами клириков, предпринимавших поездку в Рим. Статус папского викария Арелатские епископы сохраняли вплоть до конца VI в.; однако это не означало подчинение Галльской церкви Римскому папе. До 523 г. Кесарий не имел реального влияния в значительной части своей митрополии, которая оставалась в пределах королевства бургундов. По этой причине он не созывал поместных Соборов в своей митрополии с 506 по 524 гг., пока она не была фактически объединена под его единоличной властью в 523 г., после завоеваний короля Теодориха в Бургундии. В 524 г. Кесарий провёл Собор в Арелате (четвёртый Арелатский собор), приуроченный к освящению построенной им в городе базилики во имя Пресвятой Девы Марии с приделами пророка Иоанна Предтечи и св. Мартина Турского.