Перевес оказался на стороне противников Ираклия I, и он был вынужден увести своё войско из Албании на юго-запад, в персидскую Армению, хотя после этого значительные силы лазов и абасгов ушли от Ираклия I. Смелыми манёврами Ираклию I удалось ввести в заблуждение персидских полководцев, и в конце 624 г. он захватил с отрядом персов город Арджеш (ныне Эрджиш, Юго-Восточная Турция); находившийся в городе Шахрбараз бежал. Тем не менее, этот частный успех Ираклия I не привёл к перелому в ходе войны. Убедившись в прочности персидских позиций в Албании и Армении, Ираклий I решил перенести активные действия на запад, в Северную Месопотамию и Сирию, и весной 625 г. организовал рейд в эти регионы. В марте его войска вступили в Месопотамию, захватили Амиду и Мартирополь на Тигре; продвигаясь на запад, прорвались через персидские заслоны на Евфрате и перешли на север через хребет Тавр. По сообщению хрониста, во время боя за мост на реке Сар Ираклий I лично вступил в бой и поразил мужеством как своих воинов, так и врагов. Персы не успели собрать силы и помешать движению византийцев, которые уничтожили несколько крепостей, переправ и коммуникаций. Повернув на восток, севернее Тавра, Ираклий I вскоре вернул войско в районы его основных баз в Малой Армении, в Севастии (ныне Сивас, Восточная Турция). Несмотря на активную деятельность Ираклия I, положение империи и её столицы оставалось тяжёлым. Персы сохранили значительные позиции в центральных районах Анатолии, в том числе в Каппадокии и в части Вифинии; по сообщению Феофана Исповедника, в 619/620 гг. они овладели Анкирой. Их войска больше десяти лет находились вблизи азиатских окрестностей Константинополя, захватывали его пригороды и грабили различные области. Крупнейшее нападение на Константинополь было организовано совместно персами, аварами и славянами в 626 г. в отсутствие Ираклия I. Аваро-славянское войско осаждало город (конец мая – 8 августа 626 г.) и предприняло два штурма, которые были отбиты византийцами. Оставшиеся на азиатском берегу персы (под руководством Шахрбараза) не имели средств для переправы через Босфор и поддержки союзников. Во время осады Константинополя Ираклий I находился с армией в Закавказье. Стремясь укрепить своё положение, он напал на царство Иверия, которое было союзником персов. В течение длительного периода византийцы вели осаду Тифлиса (Тбилиси), но успеха не добились (город был захвачен и разорён тюрками в 628 г.). В это же время Ираклий I установил контакт с Западно-Тюркским каганатом, который выступил против Персии. В Закавказье прибыло многочисленное тюркское войско во главе с Джебэ. В благодарность за поддержку Ираклий I предложил отдать Джебэ в жены свою дочь Епифанию-Евдокию. С поддержкой тюрок летом 626 г. византийцы во главе с Феодором, братом Ираклия I, разбили персов в новом сражении (в Армении, место исследователям неясно). Осенью 627 г. тюрки оставили Ираклия I, отказавшись наступать вместе с ним на Месопотамию. Тем не менее, в сентябре того же года неожиданно для персов, обойдя их войско, Ираклий I с главными силами прошёл через Армянское нагорье на юг и вторгся в Месопотамию с северо-востока, через область Зареванд. Персы во главе с Рахзадом преследовали Ираклия I и 12 декабря 627 г. вступили с ним в решающее сражение близ древней Ниневии (ныне Северный Ирак). Ираклий I вновь одержал победу, Рахзад был убит.