Курский историк Николай Петрович Сенаторский отмечал: «Наличные здания Знаменского монастыря по своей ветхости и своеобразному расположению не могли с должным удобством приютить в своих стенах даже одного архиерея с певческой капеллою и прислугою... Обстоятельно ознакомившись с печальным состоянием монастырских зданий, преосвященный Илиодор признал необходимым на месте прежнего настоятельского дома, разобрав его, устроить каменный дом, годный для пребывания архиерейского с необходимыми помещениями для певчих, братии и прислуги». В итоге резиденция архиепископа разместилась в каменном двухэтажном корпусе, расположенном рядом с собором. На верхнем этаже находились покои архиепископа, а нижний занимали монастырский наместник, архиерейский секретарь и служащие канцелярии преосвященного. В 1851–1853 гг. к корпусу была пристроена Крестовая церковь во имя Трёх святителей (Василия Великого, Григория Богослова и Иоанна Златоуста). От восточного портика архиерейского корпуса к Знаменскому храму вела крытая галерея с проездом под ней, сообщавшая покои архиерея с собором. 12 декабря 1854 г. по ходатайству архиепископа Курского и Белгородского Илиодора (Чистякова) Курский монастырь стал первоклассным необщежительным с архиерейским управлением. В 1857 г. в обители проживали наместник, семь иеромонахов, семь монахов, 12 послушников (в том числе два пономаря, два архиерейских келейника) и 44 человек на испытании. К началу XX в. в Курском монастыре были также храм в честь Воскресения Христова с приделами преподобного Феодосия Печерского и св. Иосифа Песнопевца (1875–1876 гг.), каменные двухэтажный корпус (1847 г.), одноэтажный флигель с больницей, трапезой, кухней и пекарней (1845 г.), здание архиерейской кухни, флигель для проживания архиерейских певчих, сарай для экипажей, кузница, деревянные братская баня, амбар. К 1860 г. обитель окружала каменная ограда с двумя воротами и двумя башнями. За оградой были каменный конный двор с каретным сараем, конюшней и двумя флигелями. Монастырь владел Знаменской дачей на ручье Кур (60 десятин 2550 кв. сажён) с двухэтажным каменным корпусом, в котором освящена церковь во имя апостола Иоанна Богослова, с двумя кухнями, баней, каретным сараем, рощей, фруктовым садом, приносящим ежегодный доход в 600 руб. серебром, с «усадебным местом» за рекой Тускарь в Стрелецкой слободе, с загородным двухэтажным деревянным архиерейским домом в Белгороде. В 1908 г. Курский монастырь располагал 404 десятинами земли. В нём проживали сорок монахов, девять указных послушников и двадцать находящихся на испытании. При Курском монастыре был приют для мальчиков-сирот епархиального духовенства, названный Александровским в память императора Александра II. Главная святыня Курского монастыря, Курская-Коренная икона в вызолоченном деревянном киоте, находилась в чугунной вызолоченной сени с четырьмя колоннами в Знаменском соборе, слева от клироса. В ночь на 8 марта 1898 г. некий Анатолий Георгиевич Уфимцев устроил взрыв в монастырском соборе, но икона не пострадала. Это событие легло в основу сюжета пьесы «Савва» (1906 г.) Леонида Николаевича Андреева, в которой под именем революционера Саввы выведен А.Г. Уфимцев.