Однако деятельность главы Совета приобретает в этот период двойственный характер. Одновременно с рапортами в ЦК КПСС о дальнейших мерах по ограничению влияния церкви в обществе, Г.Г. Карпов составляет инструкцию уполномоченным, в которой осуждает практику проведения собраний трудящихся о закрытии церквей, участие уполномоченных в индивидуальной работе с верующими, в работе по «выявлению детей и молодёжи в церквях». Наряду с материалами о «незаконной деятельности церковников» Г.Г. Карпов регулярно представлял в правительство и ЦК КПСС информацию о фактах «грубого администрирования» со стороны местных органов власти. Резко негативной была реакция Г.Г. Карпова на методы, с помощью которых выполнялось постановление о закрытии монастырей на Украине, в Молдавии и в республиках Прибалтики. Г.Г. Карпов, привыкший действовать исходя не из идеологических догм, а из конкретных государственных интересов, выражал непонимание необходимости наступления на церковь. Его попытки осторожно сдерживать антицерковную политику не могли серьёзно повлиять на ситуацию, поскольку новый курс проводился с одобрения высшего партийного руководства. На протяжении 1959 г. Г.Г. Карпов вместе с патриархом тщетно добивался приёма у Н.С. Хрущёва. Передавая Н.С. Хрущёву просьбы Алексия I о личной встрече, Г.Г. Карпов сопровождал их докладными записками, в которых он, принимая линию на ограничение деятельности религиозных организаций, продолжал настаивать на сохранении прежнего курса в отношениях с РПЦ с целью её «использования в государственных интересах». В этом он убеждал Н.С. Хрущёва и в последнем своём письме в качестве председателя Совета по делам РПЦ в январе 1960 г. 13 января 1960 г. было принято постановление ЦК КПСС «О мерах по ликвидации нарушений духовенством советского законодательства о культах». Практически все направления работы Совета по делам РПЦ получили в постановлении негативную оценку. В нём также содержалась критика лично Г.Г. Карпова. После этого дальнейшая его работа в качестве главы Совета по делам РПЦ была уже невозможна. 25 января Комиссия партийного контроля при ЦК КПСС приняла решение об исключении Г.Г. Карпова из партии, что, однако, не было утверждено Секретариатом ЦК. 6 февраля 1960 г. было подписано постановление Совета Министров СССР об освобождении Г.Г. Карпова от должности председателя Совета по делам РПЦ. 12 апреля того же года назначенный на эту должность Владимир Алексеевич Куроедов на совещании уполномоченных по делам РПЦ указал на основные ошибки Совета при своём предшественнике. По мнению партийного руководства, «он непоследовательно проводил линию партии и государства в отношении церкви и скатывался зачастую на позиции обслуживания церковных организаций. Занимая защитнические позиции по отношению к церкви, совет вёл линию не на борьбу с нарушениями духовенством законодательства о культах, а на ограждение церковных интересов». Таким образом, отставка Г.Г. Карпова стала этапом перехода руководства СССР к более решительным и жёстким действиям против церкви. На пенсии Г.Г. Карпов проживал в Москве. Был похоронен на Новодевичьем кладбище.