После освобождения Тихона большинство приходов и архиереев воссоединилось с патриаршей Церковью. Еще во время ареста Тихона обновленческие лидеры объявили о создании Высшего церковного управления, разославшего по епархиям своих уполномоченных для захвата епископских кафедр. Первоначально им сопутствовал успех, и под их юрисдикцию перешли 37 архиереев из 74. В мае 1923 г. обновленцы провели в Москве Собор, утвердивший реформы церковного управления и низложивший патриарха Тихона. Но из-за внутренней борьбы и прекращения административной поддержки движение вскоре распалось на враждующие группировки. Начиная с 1926 г. обновленческие приходы подверглись такому же антирелигиозному давлению, как и патриаршие, а в 1937–1938 гг. большинство лидеров обновленчества были уничтожены.

В последующие годы Тихон и его преемники – патриаршие местоблюстители Петр (Полянский) и Сергий (Страгородский) – пытались противостоять антицерковному террору и добиться легализации канонических церковных структур, убеждая власти в своей лояльности. Итогом их поисков стала декларация митрополита Сергия от 29 июля 1927 г. «К пастырям и пастве», в которой православная Церковь заявила о своей лояльности к большевистскому режиму. Однако за словами лояльности стояло намерение иерархов поставить православную Церковь «в правильные отношения» к советскому правительству, чтобы дать возможность Церкви законно и мирно с ним сосуществовать. Тем самым Церковь выражала готовность к лояльности с идеологически чуждым ей государством, подобно тому, как ранние христиане были лояльны к римским императорам. Следствием было то, что власть, согласившись на сохранение патриаршего управления, получила взамен право на вмешательство во внутрицерковные дела. Отныне назначения, хиротония и перемещения архиереев производились с согласия органов госбезопасности. Временный Патриарший Синод официально зарегистрировали, и было возобновлено поминание государственной власти за богослужением.

Однако компромиссная позиция иерархов Русской Церкви не смогла остановить новую волну антирелигиозных гонений 1930-х гг., принявшую тотальный характер и не пощадившую последователей ни одной из религий. В 1928 г. в связи с началом коллективизации И. Сталин трижды в своих выступлениях призвал к борьбе с религией, а в разосланной за подписью Л. Кагановича директиве ЦК ВКП (б) указывалось, что религиозные организации являются единственной легальной контрреволюционной силой.

В 1932 г. Союз воинствующих безбожников объявил о начале «безбожной пятилетки», на третьем году которой, как говорилось в программе организации, «должна быть разрушена последняя церковь, а на ее пятом году в стране вообще не будет произноситься слово Бог». Агрессивная атеистическая пропаганда сопровождалась репрессиями против епископата и клира, потому что в глазах властей священнослужители оказались в одном ряду с буржуазными националистами, шпионами и прочей «фашистской агентурой». По приблизительным подсчетам, в 1930-х гг. было уничтожено более 45 тысяч священнослужителей. Поскольку в сталинских лагерях выживало не более 20–30%, а те, кто освобождались, как правило, умирали преждевременно, то всего за годы советской власти их погибло не менее 50 тысяч.