21 октября 1897 г. был рукоположён во епископа Уральского и Оренбургского (для старообрядцев, проживавших на Южном Урале и в прилегающих областях). В 1898 г. в течение нескольких месяцев исполнял обязанности местоблюстителя Московской архиепископской кафедры, после того как старообрядческий Московский архиепископ Савватий (Лёвшин), давший властям подписку «не именоваться архиепископом Московским», был Собором старообрядческих епископов уволен на покой как отказавшийся от сана. Арсений восстановил проведение старообрядческих Соборов, в октябре 1898 г. на созванном им Соборе архиепископом Московским был избран Иоанн (Картушин), хотя было много сторонников возведения самого Арсения на архиепископскую кафедру. Его кандидатура была отклонена во многом из-за «особого мнения», поданного московскими и донскими делегатами. «Мнение», в котором Арсений был охарактеризован как «книжный реформатор наподобие Никона», содержало в себе критику изменений, внесённых Арсением в названные выше богослужебные книги, и осуждало его за нарушение указов патриарха Филарета 1628 г. о запрете использования Русской церковью книг «литовской печати». Арсений стал инициатором проведения ежегодных всероссийских съездов старообрядцев Белокриницкой иерархии, первый съезд прошёл под его председательством в Нижнем Новгороде в 1899 г. В 1906 г. в Уральске была создана первая в России легальная частная старообрядческая типография Андрея Васильевича Симакова, к 1908 г. благодаря Арсению превратившаяся в одно из крупнейших предприятий по производству книг для старообрядцев. Перу Арсения принадлежит значительное число сочинений, посвящённых апологии Белокриницкой иерархии, полемике с представителями других старообрядческих согласий и миссионерами Русской православной церкви, вопросам догматики, обрядности и т.д. В 1885 г. в Мануиловке вышла его книга «Истинность старообрядствующей иерархии противу возводимых на неё обвинений», в которой, отвечая на утверждение православных миссионеров о невозможности существования церкви без архиереев, автор развил старообрядческое учение о том, что в отсутствие епископов вследствие уклонения их в ересь (подразумеваются реформы патриарха Никона) церковь может временно пребывать под непосредственным невидимым водительством своего Главы Христа, при условии сохранения благочестия священством и верующим народом. В книге также содержалась защита положения из составленного иноком Павлом (Великодворским) «Белокриницкого устава», согласно которому Сын Божий родился вместе с веками от Бога Отца. Это мнение Арсения рассматривалось Духовным советом при Московской старообрядческой архиепископии и было осуждено. Арсений принёс устное покаяние, однако впоследствии продолжал защищать это положение «Белокриницкого устава» (в частности, на диспуте в селе Алексеевка Саратовской губернии в 1897 г.). О еретичестве данного мнения Арсения писали многие православные авторы, а также старообрядческий Казанский епископ Пафнутий и священник Василий Механиков. Критике сочинений Арсения посвящено большое число работ православных миссионеров. Среди старообрядцев он имел много учеников и последователей, наиболее известным из которых был Фёдор Ефимьевич Мельников (1924–1986 гг.). На Соборе старообрядцев Белокриницкой иерархии, проходившем в Москве в октябре 2001 г., было высказано предложение о канонизации Арсения, однако Собор не принял определённого решения по этому вопросу.