В 1981 г. ему удалось отстранить от командования армией Али Антара. Однако соперничество в южнойеменском руководстве продолжалось, в силовых структурах и партии осталось немало сторонников Исмаила. В 1984 г. Мухаммад был вынужден уступить своим оппонентам партийное руководство, позже – пост премьера, который занял Хайдар Али Бакр аль-Аттас. В 1985 г. при посредничестве СССР произошло примирение Мухаммада и Исмаила, и последний получил возможность вернуться в НДРЙ. Однако уже в январе 1986 г. между южнойеменскими лидерами вспыхнул новый конфликт, принявший форму скоротечной и кровопролитной гражданской войны. В ходе этого конфликта, подробности которого во многом для исследователей неясны, было убито несколько высших руководителей страны, включая Исмаила и Антара. В итоге Мухаммад потерпел поражение и бежал в Эфиопию. До 20 тыс. его вооружённых сторонников укрылись в Северном Йемене. В НДРЙ прошла чистка партии и администрации от приверженцев прежнего руководства. Новое руководство, во главе с Хайдаром аль-Аттасом, ставшим президентом, и генеральным секретарём ЙСП Али Салемом аль-Бейдом, проводило прагматичную политику, но отвергло предложения Мухаммада о примирении. С 1970 гг. периоды сближения и переговоров об объединении Северного и Южного Йемена чередовались с периодами острой враждебности и пограничных столкновений. Хотя в сознании йеменцев доминировало представление о культурно-исторической общности Севера и Юга, различие политических систем двух стран выступало сильнейшим препятствием для их интеграции. К концу 1989 г. СССР прекратил поддержку своих союзников в странах третьего мира. НДРЙ оказалась перед лицом экономического коллапса, а также угрозы со стороны Саудовской Аравии и США, которые внесли Южный Йемен в список стран, поддерживающих терроризм. Переговоры об объединении начались в конце 1989 г. и закончились 22 мая 1990 г. провозглашением единой Йеменской Республики (ЙР). Юг предлагал конфедерацию, в крайнем случае, федерацию, но Салех настоял на полном слиянии двух стран, обещая южанам паритет в политической системе и экономические дотации. Посты в ЙР были поделены поровну, временный парламент образован механическим слиянием парламентов двух стран. Салех стал председателем Президентского совета, аль-Бейд – его заместителем. Сана была объявлена политической столицей государства, Аден – экономической. Принятая на референдуме конституция предусматривала прямые и равные парламентские выборы, члены парламента формировали президентский совет. Учитывая четырёхкратный демографический перевес Севера, Юг оказывался в заведомо проигрышной позиции. Северяне взяли курс на выдавливание южан из руководящих сфер. Племенная верхушка и исламисты воспринимали «марксистов»-южан особенно враждебно. На Юге после объединения произошло резкое понижение уровня жизни, были отменены социальные гарантии, началось восстановление позиций служителей культа и племенных шейхов.