Отправляя митрополита Иоасафа в Москву, Иоасаф II, по мнению исследователей, предполагал, что Иоасаф от его имени проведёт повторную церемонию коронации Ивана. Однако в Москве митрополит попал под подозрение в тайных контактах с королём Польши и Литвы Сигизмундом II Августом. Царь Иван был удовлетворён привезёнными Иоасафом из Константинополя грамотами, но отказался от устроения церемонии и даже не принял митрополичьего благословения. Несмотря на то что Иоасафу удалось доказать свою невиновность, подозрение в отношении его литовских связей сохранялось, и он был отпущен в Константинополь лишь осенью 1564 г. окольным путём через Грузию и Трапезунд (проезд через Литву или Крым был уже невозможен из-за начавшейся Ливонской войны). В 1565 г. митрополит Иоасаф скончался в Грузии, а все подарки, отправленные царём Иваном с ним в Константинополь, были присвоены царём Кахети Левоном. В период патриаршества Иоасафа II предпринимались не увенчавшиеся успехом попытки наладить диалог с лютеранами. Лютеранский богослов Филипп Меланхтон через выступившего посредником диакона Димитрия отправил Иоасафу II личное послание, а также греческий перевод Аугсбургского исповедания. Димитрий прибыл в Константинополь в конце 1559 г. и был принят Иоасафом II, однако, ознакомившись с документами, патриарх решил не давать ответа и позже утверждал, что документы получены не были. В то же время сохранившееся в составе Никоновской летописи под 1561 г. послание Иоасафа II митрополиту Макарию, «обличая злославимую и богомерзкую Люторскую ересь», выдержано в резком тоне и свидетельствует о решительном неприятии Иоасафом II лютеранства (Полное собрание русских летописей, том 13, часть 2). Конфликты Иоасафа II с греческой знатью (в том числе с архонтом Михаилом Кантакузином) и церковными иерархами привели к его низложению. 15 января 1565 г. (по другим данным, 8 января) по инициативе Иоасафа II в Константинополе для решения текущих церковных вопросов был созван Собор. Однако участники Собора (52 иерарха) обвинили Иоасафа II в симонии, распродаже церковного имущества и совершении незаконных рукоположений и низложили его. Иоасаф II был сослан на Афон, его имущество конфисковано. Позже он вернулся в Адрианополь, откуда писал великому ритору Великой церкви послания с просьбой устроить новое разбирательство его дела в присутствии восточных патриархов. Иоасафа II продолжали поддерживать Иоанн и Феодосий Зигомалы (Феодосий Зигомалы осуждал хрониста Мануила Малакса за то, что тот включил в своё сочинение постановление Собора, низложившего Иоасафа II). Точная дата кончины Иоасафа II исследователям неизвестна.