Укрепив свои позиции в Германии, Людовик Баварский вмешался в итальянские дела, оказал военную поддержку правителю Милана Галеаццо Висконти (1277–1328 гг.) и другим лидерам партии гиббелинов, сторонников императоров в противостоянии с папами Римскими (подробнее см. ст. Гвельфы). Это привело к открытому конфликту с находившимся в Авиньоне (см. Авиньонское пленение пап) папой Иоанном XXII (1316–1334 гг.), который раньше уже объявил незаконными избрание и Людовика Баварского, и Фридриха Красивого. Папа заявил, что в период междуцарствия власть в Священной Римской империи должна перейти к нему как к сеньору империи и викарию Христа, и назначил викарием Италии Роберта Анжуйского, короля Неаполя (1309–1343 гг.). Противостояние Иоанна XXII и Людовика Баварского стало последним важным событием в средневековой борьбе папства и империи. 8 октября 1323 г. Иоанн XXII объявил Людовика Баварского узурпатором и потребовал от него не позднее, чем через три месяца отказаться от власти в Германии и других частях империи, а также принести покаяние. Тот отказался и 18 декабря издал в Нюрнберге так называемую Первую апелляцию, обосновывая свои права на престол. Людовика Баварского поддержали генеральный министр Ордена францисканцев Михаил из Чезены и спиритуалы (фратичелли), занимавшие антипапскую позицию в споре о «евангельской бедности» церкви (Убертино да Касале, Уильям Оккам и др.). На стороне Людовика Баварского выступил итальянский мыслитель Марсилий Падуанский, опубликовавший трактат «Защитник мира» («Defensor pacis», 1324 г.), в котором отрицал верховенство папы Римского над светскими государями и заявлял о необходимости полного подчинения церкви светской власти. 23 марта 1324 г. папа Иоанн XXII отлучил Людовика Баварского от церкви. Это привело к формированию княжеской оппозиции в Германии, где Людовику Баварскому пришлось вести борьбу против Люксембургов и Габсбургов. 22 мая того же года в так называемой Заксенхаузенской (Третьей) апелляции к будущему вселенскому Собору Людовик Баварский оспорил право папы Римского утверждать кандидатуру избранного германскими курфюрстами короля, а также объявил Иоанна XXII еретиком в связи с его позицией в споре с францисканцами о «евангельской бедности». Латинская и немецкая версии Заксенхаузенской апелляции были известны в Германии, но официально в папскую курию текст апелляции доставлен не был. 17 июля 1324 г. папа Римский объявил Людовика Баварского низложенным, а на всех, кто будут его поддерживать, наложил церковное отлучение и интердикт. Это решение ускорило консолидирование в Германии противников Людовика Баварского во главе с чешским королём Иоанном Люксембургом (1310–1346 гг.) и австрийским герцогом Леопольдом I Габсбургом (1308–1326 гг.), младшим братом герцога Фридриха Красивого. 27 июля 1324 г. к союзу присоединился также французский король Карл IV Красивый (1322–1328 гг.). Людовик Баварский был вынужден пойти на соглашение с находившимся у него в плену Фридрихом Красивым, объявив его своим соправителем (сентябрь 1325 г.). Это решение не привело к завершению конфликта, поэтому в январе 1326 г. Людовик Баварский объявил о готовности отречься от престола, если папа в течение шести месяцев признаёт королем Фридриха. Папа Римский Иоанн XXII, делавший ставку на поддержание в Германии политической нестабильности, отказался принять это условие.