В 969 г. Герберт сопровождал графа Борреля II в его поездке в Рим, где общался с папой Римским Иоанном XIII (965–972 гг.). Папа обратил внимание на 27-летнего служителя монастыря св. Геральда, бывшего пастушонка с юга Франции, который поразил его своей учёностью, умом и находчивостью. Он рекомендовал Герберта императору Оттону I Великому (912–973 гг.) в качестве учителя для его молодого сына, будущего императора Оттона II Рыжего (955–983 гг.). Герберт пробыл в этой должности два года. В 972 г. на свадьбе Оттона II и племянницы византийского императора Иоанна I Цимисхия (969–976 гг.) он познакомился с Реймсским архиепископом Адальбероном (935/940 – 989 гг.). Через несколько лет Оттон I отпустил Герберта в Реймс, где процветали философские занятия. Архиепископ Адальберон назначил его секретарём, а затем схоластом школы монастыря св. Ремигия в Реймсе (система преподавания Герберта в Реймской кафедральной школе была описана его учеником Рихтером Реймсским (между 940 и 950 – после 998 гг.) в III книге его «Истории»). Профессорская деятельность скоро сделала его имя громким на всю Европу, к нему отовсюду стекались видные ученики. Прогремел он и диспутом по вопросам метафизики против магдебургского учёного и профессора Отрика, который состоялся в Равенне. В 973 г. Оттон II, который наследовал после смерти отца титул императора, назначил Герберта аббатом в монастыре Боббио. Герберт пробыл там около года, заботясь об обогащении одной из лучших тогда библиотек, но не справился со сложными политическими отношениями, в которые был запутан монастырь, и вернулся в Реймс. Связь с империей и близость к Адальберону постепенно втягивали его в политику, в которой Герберт всегда стремился находить реально достижимые цели. Он всегда оставался верен империи, с которой его соединяла не только личная признательность к Оттонам, но и усвоенная им идея. Не считая осуществимым единство всей Европы под властью цезарей из Саксонского дома, Герберт стремился к тому, чтобы французские обстоятельства не шли в разрез с имперскими интересами. После смерти Оттона II императором был провозглашён его 3-летний сын Оттон III (983–1002 гг.). Герберт стал его воспитателем, защищал его державные прерогативы и деятельно поддерживал антикаролингскую политику Адельберона (Каролинги не признавали присвоения Оттонами императорского звания), на Санлисском съезде 987 г. активно способствовал передаче королевской власти во Франции Капетингам. Когда Гуго Капет (около 940 – 996 гг.)  стал королём, Герберт воспользовался своим влиянием в империи, чтобы обезопасить его власть со стороны Германии. Вместе с архиепископом Адальбероном он противостоял попыткам короля Западно-Франкского королевства Лотаря (941–986 гг.) при поддержке Гуго Капета отторгнуть Лотарингию от империи Оттона III (980–1002 гг.). При определении отношений к Римской церкви Герберт осторожно отстаивал начала галликанской политики по традиции Хинкмара Реймсского (845–882 гг.). Этим он также отдавал дань интересам французской монархии, но тем самым настроил против себя пап. Хотя Герберт был драгоценным советником Гуго Капета, и король поручил его заботам образование своего сына Роберта, будущего короля Роберта I Благочестивого (996–1031 гг.), но после смерти епископа Адальберона (989 г.), когда началась борьба за место архиепископа Реймса, Гуго Капет поддержал Арнульфа (ум. в 1021 г.), незаконного сына короля Лотаря, хотя Герберт выступил одним из кандидатов. Он смолчал и верно служил Арнульфу, но в 991 г., в результате возникших противоречий между архиепископом и королём Гуго Капетом Арнульф был свергнут, а на его место избран Герберт, фактически давно заправлявший делами епархии. Но утвердиться в Реймсе ему не удалось: папа Иоанн XV (985–996 гг.) и римский Синод не признали этого избрания. Герберт признал решение папы, и в 995 г. Арнульф был формально восстановлен на кафедре. Однако поскольку Гуго Капет заключил Арнульфа в тюрьму (где тот оставался до самой смерти), кафедра фактически оставалась вакантной. Новый папа Григорий V (996–999 гг.), двоюродный племянник императора Оттона III, в 998 г. назначил Герберта архиепископом Равенны (по просьбе императора), а 2 апреля 999 г., после смерти Григория V, при поддержке императора Герберт был избран папой Римским под именем Сильвестра II. Герберт взял это имя в честь папы Сильвестра I (314–335 гг.), который был советником императора Константина I Великого (272–337 гг.). При этом Оттон III объявил подделкой так называемый Константинов дар – грамоту, якобы дарованную Константином I Великим папе Сильвестру I с правом владения западными провинциями империи. После избрания Сильвестр II подтвердил права своего бывшего врага Арнульфа на Реймсское архиепископство. За учёность, которая поражала воображение, неграмотные клерикалы ненавидели своего нового папу. Некоторые даже утверждали, что все его познания – от дьявола.