На хиротонии 25 мая (по другим сведениям, 29 марта) 1808 г. в столичном Исаакиевском соборе присутствовал император Александр I, пожаловавший новопосвящённому епископу «всю Архиерейскую кофейного цвета парчевую ризницу», которую впоследствии Моисей завещал тешиловскому Покровскому храму. 23 июня 1808 г. прибыл в Пензу. Слово, сказанное после прибытия в строящемся кафедральном Спасском соборе, об обязанностях пастыря и пасомых, как и Слово, произнесённое 29 сентября 1809 г. в Саратове при первом посещении города, напечатаны в Московской синодальной типографии. Из пензенского периода Моисея опубликовано также Слово, произнесённое 24 августа 1809 г. при освящении храма в селе Оброчное. Во время поездок по епархии, по собственным словам, «многия грады и веси проходя», Моисей посетил и один из крупнейших центров старообрядцев, с начала XVIII в. «многолюдно» селившихся в окрестностях Малого и Большого Иргиза. Побывал «в том углу паствы сея, где быстрые струи Иргиза отделили некоторых малоутверждённых в истине веры и достойных посему сожаления, яко отторгающихся от единства Церкви; и тамо я видел плоды многи любви христианския, братолюбия и сближения к нам православныя сыны Церкви!». Предметом особых попечений Моисея стала Пензенская духовная семинария, открытая в 1800 г. Предшественник Моисея епископ Гаий (Такаов) практически не занимался семинарскими делами: не было программ обучения, ученики подолгу не посещали занятия и самовольно бросали учёбу. Поражённый царившими беспорядками и отсутствием руководящих начал в семинарской жизни, обладавший многолетним опытом духовно-педагогической службы в Троицкой семинарии и Славяно-греко-латинской академии, Моисей немедленно принял разносторонние меры по улучшению деятельности семинарии. Прежде всего, составил устав Пензенской духовной семинарии, рукописный экземпляр которого с собственноручной подписью Моисея хранился в фундаментальной библиотеке семинарии. На первой странице устава написано: «Устав Пензенской семинарии, данный 1808 года, сентября 4, Моисеем, епископом Пензенским и Саратовским, по коему имеет поступать неизменно Пензенская семинария», на последней: «Сей устав хранить в семинарском Пензенском правлении, а копии с онаго по частям для всех учителей со скрепою ректора иметь непременно, дабы никто не извинялся неведением онаго». После кончины ректора (1806–1810 гг.) архимандрита Мефодия (Нилова – выпускника Троицкой лаврской семинарии) 12 апреля 1810 г. Моисей ходатайствовал перед Синодом о назначении новым ректором проповедника Славяно-греко-латинской академии иеромонаха Аарона (Нарциссова), хорошо ему известного «по особым его талантам, по довольному кругу просвещения и по честному житию». Иеромонах Аарон (Нарциссов), ученик Моисея в Московской академии, после окончания курса был оставлен при ней учителем немецкого языка. «Я верую несумненно…, что чрез его правление и учение в семинарии, при моём руководстве, училище сие придёт в желаемое совершенство», – говорил епископ. Новый ректор стал активным помощником Моисея в укреплении учебной стороны деятельности семинарии, но воспитательная сторона по-прежнему оставалась неудовлетворительной. Моисей обязал всё пензенское духовенство «подпискою» с десяти лет отдавать сыновей в семинарии.