Митрополит Палладий (Раев; 1892–1898 гг.) потребовал возвращения в репертуар своего хора произведений эпохи классицизма, что не соответствовало направлению работы Г.Ф. Львовского. Митрополит хотел заменить Г.Ф. Львовского регентом тамбовского архиерейского хора Иваном Яковлевичем Тёртновым, который, однако, согласился занять только место младшего регента при Г.Ф. Львовском. Весной 1893 г. состояние здоровья Г.Ф. Львовского ухудшилось, и он оставил руководство митрополичьим хором, а осенью – исаакиевским хором. Проводил летнее время в родовом имении, где продолжал писать музыку. Летом 1894 г. простудился на прогулке и через несколько месяцев скончался. Отпевание состоялось 12 октября в Александро-Невской лавре, похороны – на Тихвинском кладбище. В 1939 г. при устройстве так называемого Некрополя деятелей искусств памятник на могиле Г.Ф. Львовского был снесён (могила находилась на третьей дорожке, у ограды кладбища, напротив современного надгробия Михаила Ивановича Глинки). Духовно-музыкальное творчество Г.Ф. Львовского (издано 69 произведений для смешанного хора и 11 – для однородного хора) относится к 1880–1894 гг. Большая их часть – гармонизации распевов из синодальных певческих книг, выполненные в «строгом стиле». Исследователи отмечают, что Г.Ф. Львовский, как правило, помещал мелодию в верхнем голосе, сохраняя её неизменной и подчиняя ей остальные голоса (для которых характерна плавность и певучесть), чтобы мелодия «была явственна и в своём течении свободна, избегая при этом параллелизма и разных модуляций» (письмо Г.Ф. Львовского священник Василию Михайловичу Металлову). В теоретических работах «Греческие церковные тоны» и «Об отношении музыкального искусства к русским напевам, церковным и народным» (в настоящее время утеряны), следуя идеям Владимира Фёдоровича Одоевского, Михаила Ивановича Глинки и Юрия Карловича Арнольда, Г.Ф. Львовский утверждал, что русские церковные песнопения основаны не на «общемузыкальных гаммах» (мажор и минор), а на древнегреческих ладах, и поэтому «гласовые и другие древние церковные мелодии должны… при изложении в гармоническое сочетание оставаться неприкосновенными». Исследователи отмечают, что гармонизации Г.Ф. Львовского разнообразнее по музыкальному языку, чем переложения других сторонников «строгого стиля» (прежде всего, Николая Михайловича Потулова), и характеризуются более свободным голосоведением, по стилю похожими на переложения Александра Андреевича Архангельского. По оценке протоиерея Михаила Александровича Лисицына, Г.Ф. Львовский – «самый талантливый… среди плеяды современных церковных композиторов; он как нельзя лучше овладел древними церковными мелодиями, создал для них строгую, но вместе с тем художественную гармонизацию… Гармония в переложениях… легка и свободна. Мелодии оригинальных сочинений носят дух церковных мелодий». Г.Ф. Львовский не смог издать все свои сочинения из-за отсутствия средств и сложного порядка цензуры, введённого в начале 1890 гг. После его смерти многое было опубликовано при содействии А.Н. Карасёва, который написал также брошюру о Г.Ф. Львовском. По свидетельству Льва Николаевича Парийского, многие произведения Г.Ф. Львовского распространялись в рукописях без указания его имени, некоторые (например, стихиры Пасхи) были известны исследователям под названием «лаврские»; в Московской патриархии хранились его гармонизации стихов «Господи, воззвах», стихир на стиховне и др.