Согласно «Фульдским анналам», Карломан не успел встретиться с Пипином III Коротким и умер по дороге, в Лугдуне (ныне Лион). В более поздних источниках сообщается, что целью поездки Карломана было возвращение в Кассинский монастырь мощей преподобного Бенедикта, или же говорится, что Айстульф попросил его обсудить с Пипином III Коротким некие дела государственной важности («pro quibusdam rei publicae suae utilitatibus... ire rogatus»). В дарственной грамоте 766 г. Фульраду, аббату монастыря св. Дионисия, Пипин III Короткий повелевал монахам молиться за «брата нашего доброй памяти Карломана» и за своё потомство. Монахи, прибывшие вместе с Карломаном, были задержаны франками. Весной 757 г. по настоянию кассинского аббата Оптата папа Стефан II просил Пипина III Короткого отпустить их в Италию. В «Анналах королевства франков» говорится, что Пипин III Короткий велел вернуть останки брата в Кассинский монастырь. Согласно позднему монте-кассинскому преданию, тело Карломана было привезено в золотом гробу, украшенном драгоценными камнями. Образ Карломана – могущественного повелителя франков, ставшего монахом и подвижником, занимал важное место в монте-кассинской историографии IX–XI вв. Сходство имён Карломана и Карла Великого привело к путанице, в текстах из Монте-Кассино майордом именовался, Carolusmagnis, в хронике аббатства Монте-Кассино – Karolus Magnus. В хронике говорится о «Карломане, благочестивейшем и непобедимом императоре, римском патриции», который удалился в Монте-Кассино и был похоронен в храме аббатства («sanctissimi et inuictissimi imperatoris et Romani patricii, cuius uicem tametsi indigni accepimus»). В календарях VIII–IX вв. из аббатства Монте-Кассино память Карломана не указана, в источниках XI–XII вв. о его почитании не упоминается. Память Карломана 17 августа включена в издание «Мартиролога» Узуарда, подготовленное Жаном де ла Молем (Иоанном Моланом – «Usuardi Martyrologium, quo Romana Ecclesia ac permultae aliae utuntur»), а также в «Общий перечень святых, отсутствующих в Римском Мартирологе» Ф. Феррари. В 1628 г., во время перестройки хора базилики аббатства Монте-Кассино, были обретены мощи Карломана. Впоследствии его мощи вместе с мощами св. аббатов Константина и Симплиция были положены под главный алтарь базилики, в 1732 г. они были освидетельствованы. В бенедиктинском мартирологе, подготовленном Ю. Менаром, наряду с поминовением Карломана 17 августа была указана память обретения его мощей 29 марта. Эти дни памяти Карломана указаны также Жаном Мабильоном. Согласно Б.М. Амико, поминовение Карломана совершалось 4 декабря. В мартирологе, изданном Б. Керле, под этой датой значится память перенесения мощей Бенедикта Нурсийского и св. Схоластики из Франции в Монте-Кассино, которое якобы состоялось по инициативе Карломана. В базилике аббатства Монте-Кассино существовала капелла во имя Карломана, в которой находились росписи Якопо Амигони (1675–1752 гг.) на сюжеты из жизни святого (утрачены после разрушения зданий аббатства в 1944 г.).