Борис прибыл в Рязань 21 сентября 1923 г. Одним из первых его начинаний было устройство епархиальной канцелярии (располагалась по адресу: ул. Новая Слобода, д. 28), которую Борис возглавил и при которой жил. Заместителем председателя стал прибывший в Рязань в январе 1924 г. Глеб (Покровский), викарный епископ Михайловский. Священники, вошедшие в состав канцелярии, руководили благочиниями, возрождёнными для активизации церковной жизни в условиях гонений и расколов. Для противостояния распространению безверия и обновленчества Борис совершал регулярные объезды епархии, выпускал журнал «Циркуляры», в котором помимо распоряжений и проповедей архиерея и информации о церковной жизни публиковались отрывки из художественных произведений, рекомендации юриста, советы по огородничеству и медицине. Журнал печатался в епархиальной канцелярии на пишущей машинке в количестве 70 экз., которые рассылались по благочиниям. К 28 сентября 1925 г., когда были арестованы члены епархиальной канцелярии, вышло 34 номера. 4 января 1924 г. Борис был арестован и «выслан в Москву без права выезда», получил разрешение жить у знакомого доктора в Перловке, откуда продолжал управлять епархией, посылая распоряжения и получая ответы по почте. Как полагают исследователи, во второй половине 1924 г. судебное преследование в отношении Бориса было прекращено: архиерей упоминается в прошениях патриарха Тихона на имя начальника VI отделения СО ОГПУ Евгения Александровича Тучкова о разрешении общего собрания архиереев в Москве (ноябрь 1924 г.). 12 апреля 1925 г. Борис принимал участие в погребении Тихона, в числе других архипастырей РПЦ поставил свою подпись под актом о назначении Патриаршим Местоблюстителем митрополита Крутицкого Петра (Полянского). В 1925 г. Борис вернулся в Рязань, 23 июня участвовал в архиерейской хиротонии Василия (Беляева), вместе с которым в сентябре того же года был арестован и заключён в Бутырскую тюрьму. Борису предъявили обвинения в руководстве «нелегальным антисоветским сообществом, именуемым “епархиальная канцелярия”»; в учреждении института уездных и окружных благочинных для ведения «контрреволюционной деятельности в провинции»; в издании распоряжений об организации при церковноприходских советах «нелегальных кружков и обществ с целью организованной борьбы с безбожием советской власти»; в издании и распространении журнала «Циркуляры», посредством которого архиерей «возбуждал население к сопротивлению законам и постановлениям рабоче-крестьянского правительства»; в присвоении прав и функций юридического лица. Постановлением особого совещания Коллегии ОГПУ от 26 марта 1926 г. Борис был приговорён к трём годам ссылки в Нарымский край. Поскольку в тюрьме у Бориса обострилась астма, 16 июня 1927 г. меру пресечения заменили на ссылку в Ярославскую губернию. Вскоре по состоянию здоровья Борис был перемещён в подмосковный посёлок Перловка, откуда продолжал управлять Рязанской епархией посредством циркуляров, указов и распоряжений. Борис скончался после тяжёлой болезни, отпевание возглавил митрополит Сергий (Страгородский). Борис погребён на Пятницком кладбище в Москве.