Об обстоятельствах низложения и ссылки Иоанна VII Грамматика существуют различные полулегендарные истории. Исследователи считают достоверным, что после смерти императора Феофила императрица Феодора начала переговоры с оппозицией иконопочитателей о прощении своего покойного мужа. Когда в начале 843 г. соглашение было достигнуто, смещение Иоанна VII Грамматика стало неизбежным. Обстоятельства его низложения представлены в хронике Псевдо-Генесия. В ней сообщается, что, когда патрикий Варда, брат Феодоры, явился со стражей к Иоанну VII Грамматику, тот отказался добровольно оставить престол под тем предлогом, что был ранен друнгарием виглы Константином Армянином. Однако, проведя расследование, Варда уличил Иоанна VII Грамматика во лжи (тот сам нанёс себе заведомо неопасные ранения), и это послужило основанием для низложения патриарха. Иоанн VII Грамматик был сослан в монастырь Клидион, где он будто бы приказал слуге выколоть глаза Спасителю, Богородице и архангелам, изображённым на находившихся там иконах, поскольку не мог вынести их взгляда. Императрица Феодора хотела ослепить его, но потом приговорила к шести (по другим сведениям, к 200) ударам бичом. Иоанна VII Грамматика сослали в его имение Психа, недалеко от Константинополя, где он умер, как полагают исследователи, в 863 г., но в любом случае до 867 г. Иоанн VII Грамматик наряду с Феодотом и Антонием был предан анафеме Константинопольским Собором 843 г., что зафиксировано в синодике в Неделю Православия. Спустя несколько лет по приказу императора Михаила III останки Иоанна VII Грамматика были эксгумированы, преданы поруганию на константинопольском ипподроме вместе с костями императора Константина V и сожжены. В хрониках Продолжателя Феофана и Псевдо-Симеона Магистра сохранились также легендарные повествования об Иоанне VII Грамматике. В одном из них рассказано о том, как Иоанну VII Грамматику удалось отразить нашествие некоего племени, возглавляемого тремя вождями. Патриарх приказал разбить головы трёхглавой статуе, стоявшей на константинопольском ипподроме, читая при этом заклинания. Между вражескими предводителями возникла междоусобица, в которой двое из них погибли, а третий едва спасся и отступил. В другом повествовании сообщается о секретном подвале, который был в имении его брата Арсавира. Там патриарх будто бы предавался оргиям с женщинами, в том числе с монахинями, которые помогали Иоанну VII Грамматику заниматься колдовством и гаданиями при участии бесов. Предсказания часто сбывались. Из сочинений Иоанна VII Грамматика сохранились лишь незначительные фрагменты. Елена Эммануиловна Липшиц предложила отождествить его с неким писателем Иоанном, автором ямбов, однако оснований для доказательства этого предположения, по мнению исследователей, недостаточно. Афанасиос Камбилис полагает, что Иоанн VII Грамматик составил сборник гном (нравоучительных изречений), ставший одним из главных источников для «Гномология» Иоанна Георгидиса. Исследователи полагают, что главным трудом Иоанна VII Грамматика был флорилегий текстов из творений отцов церкви на тему о неприемлемости почитания икон.