Предполагаемое ослабление позиций Карломана в государстве франков могло быть связано и с браком (744 г.) Пипина Короткого и Бертрады, дочери Хериберта, комита (графа) города Лавдун, располагавшего обширными земельными владениями в Австразии. Этот брак позволил Пипину Короткому занять более прочное положение, чем Карломан. По предположению некоторых исследователей, Карломан, отправляясь в Рим, не имел намерения остаться там и стать монахом, но его задержал папа, действовавший по просьбе Пипина Короткого. Согласно М. де Йонг, каролингские авторы, хорошо знакомые с обычаем удалять политических противников в монастырь, сомневались в свободе выбора Карломана. Чтобы снять возможные подозрения с Пипина Короткого, они специально подчёркивали благочестие Карломана и его искреннее желание стать монахом. После того как Карломан покинул королевство франков и отправился в Италию, Пипин Короткий освободил своего единокровного брата Грифона, содержавшегося в заключении после смерти Карла Мартелла. Грифон получил от Пипина Короткого комитат (графство), но вскоре бежал в Баварию, где нашёл убежище у родственника, герцога Одилона. Сыновья Карломана остались под опекой Пипина Короткого, возможно, как его будущие наследники, но их положение изменилось после рождения у Пипина Короткого сына, Карла Великого (747/748 г.). Существуют данные, что Дрогон, старший сын Карломана, попытался занять должность майордома Австразии. Когда Пипин Короткий созвал Собор (по мнению исследователей, имеется в виду Собор 748 г. в Дюрене), Дрогон объявил, что проведёт отдельный Собор епископов Австразии. Исследователям известно о колебаниях св. Бонифация относительно того, на каком Соборе ему следует присутствовать. Исследователи полагают, что Дрогону удалось сохранить контроль над всей Австразией или её частью до 751 г., когда Пипин Короткий стал королём франков. В 747 г. Карломан со свитой прибыл в Рим и принял тонзуру от папы Захарии. В «Liber Pontificalis» сообщается, что Карломан, «оставив славу нынешней жизни и земное могущество, с благоговением (deuotus) прибыл к блаженному Петру, предводителю апостолов, с некоторыми из своих верных». Согласно большинству источников, Карломан остановился в монастыре на горе Соракт (ныне Соратте). В «Анналах королевства франков» ему приписывается основание монастыря св. Сильвестра на этой горе, что не подтверждается другими источниками. Как указано в послании папы Павла I Пипину Короткому (761 или 762 г.), Карломан получил Сорактский монастырь от папы Захарии. Дарение было аннулировано в связи со смертью Карломана, и папа передал монастырь Пипину Короткому. Также об этом говорится в хронике Бенедикта Сорактского, где основание церкви и монастыря св. Сильвестра приписывается папе Дамасу I. Согласно Эйнгарду, знатные франкские паломники, направляясь в Рим, посещали Карломана, «словно своего господина» («uelut dominum quondam suum»). Поэтому Карломан удалился в Кассинский монастырь, где провёл остаток жизни в монашеских подвигах («ibi quod reliquum erat temporalis uitae religiose conuersando conpleuit»).