В 1888 г. осуществил ремонтно-реставрационные работы в древнем Михаило-Архангельском соборе: были заменены полы и окна, сооружены тамбуры при входе и ограждения солеи, устроено калориферное отопление, установлен новый невысокий иконостас. Были раскрыты древние фрески, закончен ремонт крестовой Николаевской церкви, обновлена трапезная церковь во имя апостола Иоанна Богослова. Средства на работы (3 тыс. руб.) частично выделило императорское археологическое общество в качестве вознаграждения за клад, найденный на территории монастыря при прокладке водопровода. По проекту епархиального архитектора Владимира Николаевича Николаева в 1894 г. были сооружены кельи певчих архиерейского хора, в 1897 г. – новое крыло монастырской гостиницы, епархиальный архитектор Евгений Фёдорович Ермаков спроектировал новый корпус Варваринских келий (1898–1899 гг.). Вскоре вследствие клеветнических наветов отношение митрополита Платона к Иерониму ухудшилось, но за епископа вступились архиепископ Леонтий (Лебединский) и Константин Петрович Победоносцев. С 3 июня 1890 г. Иероним – епископ Тамбовский и Шацкий. Во время голода 1891–1892 гг., в основном, на личные средства организовал епархиальный Комитет по сбору пожертвований в пользу пострадавших от неурожая, сеть пунктов помощи, столовые для бедных (на его личные средства в течение девяти месяцев ежедневно выдавалось 120 голодающим семь пудов печёного хлеба), а также два временных сиротских приюта для крестьянских детей, каждый на 50 человек, в Тамбове и Кадоме. Во время эпидемии холеры распорядился разослать антихолерные аптечки – по 15 на благочиннический округ. На средства архиерея также были выкуплены и розданы 200 экз. брошюры профессора Никанора Адамовича Хржонщевского «Народное чтение о том, как охранять себя от холеры» (Киев, 1892 г.) и 3 тыс. воскресных листков «Господи, не затвори в смерти души раб Твоих». В «Тамбовских епархиальных ведомостях» епископ опубликовал своеобразную программу реформ в епархии, которая предусматривала создание новых церковноприходских школ, приходских обществ трезвости, института духовно-судебных следователей при благочиннических советах, а также организацию внебогослужебных собеседований. Обязал всех настоятелей добиться к концу 1891 г. знания прихожанами наизусть Заповедей Божьих, регентам наказал «употреблять древние, освящённые временем церковные напевы или переложения их, сделанные современными композиторами» и обучать паству общему пению. В августе 1890 г. при архиерейском доме была основана певческая школа, которая в целях повышения образовательного уровня дьяконов и псаломщиков и подготовки квалифицированных специалистов-миссионеров высочайшим указом от 17 июля 1892 г. была преобразована в Тамбовскую миссионерско-псаломщицкую школу.