Ориген считает Ерму современником и другом апостола Павла, а «Пастырь» – богодухновенным произведением («это произведение мне кажется очень полезным, и, как думаю, оно богодухновенно»), хотя и с оговорками, отмечая даже в одном месте, что «некоторые презирают» эту книгу. Раннехристианские изображения (например, видение св. Перпетуи, фрески в катакомбах Каллиста) вдохновлялись «Пастырем». Иногда трактат переписывался вместе с новозаветными книгами (например, в Синайском кодексе, IV в.). Но уже со II в. авторитет «Пастыря» уменьшается как на Востоке, так и на Западе, а начиная с IV в. стремительно падает. Автор «Канона Муратори» (между 180 и 200 гг.), считавший Ерму братом Пия I, отказывает «Пастырю» в богодухновенности: «”Пастыря” очень недавно, в наши времена, написал в городе Риме Ерма, когда на кафедре Церкви города Рима сидел епископ Пий, его брат; следовательно, читать его (частным образом) конечно, должно, но нельзя возглашать его в церковных собраниях ни среди пророков, число которых уже закончено, ни среди апостолов». Вслед за «Каноном Муратори» братом Пия Ерма назван в «Либерийском каталоге» (около 354 г., другое название: «Хронограф 354», восходит к епископским спискам около 170 г.) и в «Стихе против Маркиона». Изредка ссылки на «Пастыря» встречаются в западных памятниках IV–VI вв. Так, утверждение, что каждый человек имеет при себе двух ангелов, встречается у Иоанна Кассиана Римлянина (скрытую аллюзию на «Пастыря» подчёркивает ссылка на эту книгу как на «откровение»). Однако уже Иероним Стридонский говорит, что у латинян книга почти неизвестна, хотя и читается в некоторых греческих церквах, и что она не входит в канон Писания вместе с такими ветхозаветными книгами, как Книга премудрости Соломона, Книга премудрости Иисуса, сына Сирахова, Книга Иудифи, Книга Товита. Сочинение упомянуто в приложении к Codex claromontanus в перечне Священных книг, но декрет псевдо-Геласия относит «Пастыря» к апокрифическим произведениям. Впрочем, как показывают многочисленные списки латинского перевода, «Пастырь» и на Западе не скоро вышел из употребления. Ещё в IX в. Седулий Скот признаёт (правда, буквально повторяя слова Оригена) богодухновенность «Пастыря», и впоследствии изредка цитировавшегося на Западе. На Востоке авторитет «Пастыря» уменьшался едва ли не стремительнее, чем на Западе. Евсевий Кесарийский в начале IV в. свидетельствует, что книга читается публично в церквах и служит для наставления катехуменов, хотя некоторые подвергают сомнению её богодухновенность; но в другом месте он причисляет «Пастыря» к подложным сочинениям. Афанасий I Великий исключает «Пастыря» из канона, однако использует книгу в полемике с арианами, называя её при этом «полезнейшей», и говорит о пригодности её для оглашаемых. В IV в. «Пастырь» ещё используется (без упоминания имени автора и названия произведения) в «Макариевском корпусе». Начиная с V в. сочинение практически исчезает с горизонта византийских авторов, цитаты из «Пастыря» содержатся лишь в «Вопросоответах к дуку Антиоху», приписывавшихся Афанасию I Великому (V или VI в.), и в «Пандектах» Антиоха-монаха (VII в.).