После завершения строительства папского дворца многие аристократические римские семьи стали возводить в Кастель-Гандольфо виллы; на месте виллы императора Домициана была сооружена вилла племянника папы Урбана VIII Таддео Барберини. В XVIII в. Папский престол выкупил часть этих вилл; в настоящее время на территории папской резиденции (около 55 гектаров) помимо папского дворца находятся вилла святой Екатерины, сооружённая на месте виллы Клодия (I в. до н.э.), «сад Моро», к которому примыкает вилла Чибо, вилла Торлония (XVI в.), принадлежавшая римскому роду Джустиниани, и вилла Киджи, построенная кардиналом Флавио Киджи, племянником папы Александра VII. В 1929 г. папой Пием XI была приобретена вилла Барберини, переданная затем в распоряжение Конгрегации пропаганды веры. После ликвидации Папской области (1870 г.) итальянский король Виктор Эммануил II подписал «закон о гарантиях» (13 мая 1871 г.), по которому папский дворец в Кастель-Гандольфо (равно как и папские дворцы в Ватикане и Латеране) оставался в собственности Папского престола. Папа Римский Пий XI отказался признать «закон о гарантиях», объявив себя «узником Ватикана». Латеранские соглашения между Италией и Папским престолом (1929 г.) закрепили за папским дворцом в Кастель-Гандольфо и его территорией статус экстерриториальности. После подписания Латеранских соглашений папа Пий XI приобрёл граничащие с папской территорией сады, где было создано небольшое сельскохозяйственное предприятие. 2 августа 1934 г. папа Пий XI впервые прибыл на летний отдых в папский дворец в Кастель-Гандольфо, возобновив традицию Римских пап проводить лето в этой резиденции. В 1930 гг. в папский дворец в Кастель-Гандольфо была перемещена Ватиканская обсерватория (Specola Vaticana), созданная в XVI в., при папе Римском Григории XIII (1572–1585 гг.). Два телескопа обсерватории использовались до 1980 г. В 2009 г. ввиду ухудшения видимости в районе Кастель-Гандольфо телескопы были перевезены в обсерваторию Стьюарда при университете Аризоны (США), где в настоящее время находится научно-исследовательский центр Ватиканской обсерватории; её штаб-квартира по-прежнему располагается в Кастель-Гандольфо, действует также лаборатория астрофизики.