По мнению иеромонаха Арсения (Стадницкого), Лаврентий был «воодушевлён самыми благими намерениями, но проведение их… было очень неудачное». В целом ситуация в Московской духовной академии при Лаврентии была одним из стимулов, побудивших подготовку новой реформы духовных академий, которая так и не была реализована. После кончины Московского митрополита Сергия (Ляпидевского) 13 февраля 1898 г. в Троицком соборе Троице-Сергиевой лавры Лаврентий произнёс надгробную проповедь. По завещанию митрополита Сергия (Ляпидевского) 7 марта 1898 г. Лаврентий был назначен, а 22 марта в Санкт-Петербурге хиротонисан во епископа Курского и Белгородского. Уже 18 апреля 1898 г. на Красной площади Курска он участвовал в церемонии открытия движения трамвая, отслужил благодарственный молебен. В мае 1899 г. в Курске начал действовать отдел Императорского Православного Палестинского общества, который возглавляли Лаврентий и губернатор граф Алексей Дмитриевич Милютин. С 1899 г. по благословению епископа по воскресным и праздничным дням Четыредесятницы на базе семинарии проходили религиозно-нравственные Палестинские чтения с бесплатным посещением для желающих. 27 феврале 1900 г. был учреждён Курский комитет православного Миссионерского общества. В конце августа – начале сентября 1902 г. Курск посетил император Николай II с семьёй, которым Лаврентий подарил два списка Курской Коренной иконы Божьей Матери «Знамение». 4 мая 1898 г. Лаврентий впервые посетил Белгород, побывал в монастырях и духовном училище, с 5 мая возглавил крестный ход в бывшую Коренскую Николаевскую пустынь (близ села Устинка) с чтимой иконой Николая Чудотворца Ратного, возобновив архиерейский статус этого торжества. 4 мая 1904 г. Белгород посетил император Николай II по случаю отправки на Дальний Восток пять батарей 31-й артиллерийской бригады. Архиерей вручил царю копию иконы Николая Чудотворца Ратного. Лаврентий освятил белгородский Троицкий собор (1 октября 1899 г.) после капитального ремонта, и церковь Андрея Критского (16 октября 1902 г.) в деревне Сапогова (ныне посёлок Искра Курского района и области), возведённую на средства Курского губернского земства. 17 июня 1904 г. Лаврентий был переведён на Тульскую и Белёвскую кафедру. В 1905 г. в Туле на средства купцов братьев Александра, Николая и Сергея Стефановичей Ермолаевых-Зверевых была построена церковь во имя Серафима Саровского. 5 февраля 1906 г. Лаврентий освятил этот храм, первым настоятелем которого стал протоиерей Николай Тимофеевич Мелиоранский (ум. 19 января 1938 г.), впоследствии репрессированный. На средства Ермолаевых при церкви был выстроен приют для беспризорных детей и стариков всех сословий.