Впоследствии оно вошло в состав государства Саба, где уже в VIII в. до н.э. была создана обширная ирригационная система, вода в которую поступала из огромного водохранилища, построенного в его столице Марибе. В I в. н.э. государство Саба вошло в состав Химьяритского царства, распространившего свои владения на восток, включая Хадрамаут. В IV в. в Йемен вторглись войска Аксумского царства, находившегося на территории современной Эфиопии. Ещё до Рождества Христова в Йемене стали переселяться евреи, а в период эфиопского правления здесь появились христиане; при эфиопском наместнике Абрахе в Сане была построена большая церковь. В 525 г. аксумские правители были разбиты персами, и уже через 50 лет была разрушена Марибская плотина. В 628 г. последний персидский губернатор Йемена принял ислам. В Йемене очень рано проявился раскол между суннитской и шиитской ветвями ислама. В горных районах севера, в Иббе, господствующие позиции заняли зейдиты, последователи умеренного направления в шиизме, на юге, в Тихаме, а также в Хадрамауте, господствовали сунниты, главным образом, последователи шафиитского мазхаба. Принципы зейдитского теократического правления были заложены в IX в. имамом аль-Хади. В течение нескольких последующих столетий Йемен находился под властью различных мусульманских династий – Аббасидов, Фатимидов, Айюбидов, а также мамлюков и турок-османов. В XVI в. Йемен был захвачен Османской империей, но уже в 1597 г. в стране началось восстание под руководством зейдитского имама аль-Касема, который основал сильное теократическое государство. В XVIII в. Йемен пришёл в упадок. В 1839 г. Аден был занят британскими войсками с целью предотвращения его захвата правителем Египта Мухаммадом Али. Этот порт, находившийся в юрисдикции Британской Индии, превратился в важнейший торговый и перевалочный пункт с быстро растущим населением. Его значение особенно возросло после открытия Суэцкого канала. Великобритания заключила соглашения о протекторате с 24 мелкими княжествами, располагавшимися к северу и востоку от Адена. В 1872 г. турки захватили часть страны, включая Сану, и оставались номинальными правителями страны вплоть до 1918 г. К востоку от Адена возникло несколько маленьких независимых эмиратов и султанатов (например, Лахдж, 1728 г.). В 1918 г., после поражения Османской империи в Первой мировой войне, Северный Йемен получил независимость. В 1934 г. имам Йемена Яхья подписал соглашения с Великобританией и Саудовской Аравией, однако границы государства не были чётко определены. В 1948 г. Яхья был убит группой оппозиционеров, а на престол взошёл его сын Ахмед. 31 октября 1955 г. в Каире состоялось подписание Договора о дружбе (возобновление Договора 1928 г.) между СССР и Йеменским Мутаваккилийским Королевством. 8 марта было подписано соглашение о торговле и платежах, а 23 апреля 1956 г. стороны договорились об открытии дипломатических миссий (в 1956–1958 гг. миссия СССР располагалась в Каире, откуда была перенесена в Таиз). 21 июня – 11 июля 1956 г. наследный принц Йеменского Мутаваккилийского Королевства Мухаммад аль-Бадр посетил СССР с дружественным визитом, в ходе которого состоялось подписание соглашения об экономическом и о техническом сотрудничестве.