Nel 398 a.C., durante l’assedio di Veio, i Romani, per regolare il livello delle acque del Lago Albano, scavano un tunnel nella viva roccia per un chilometro e mezzo: l’emissario, ancora oggi visibile, è una grandissima opera di ingegneria idraulica.
Già durante il periodo repubblicano vennero costruite una serie di ville signorili nella zona intorno al lago; risale poi all’epoca imperiale la splendida Villa di Domiziano, che l’imperatore fece costruire sul versante occidentale del lago ed i cui resti sono oggi soggetti alla sovranità dello Stato Vaticano. L’odierna Castel Gandolfo, come si legge in una bolla del maggio del 1037, viene identificata con una comunità agricola autonoma, che, pagando un canone al Monastero, si era resa indipendente fin dall’anno 1000.
Non si sa quando precisamente ed in quali circostanze la nobile famiglia dei Gandolfi, da cui la località ha preso il nome, si impossessò del luogo; si sa però che risale ai primi anni del 1200 la costruzione di un castello dei Gandolfi nell’antico villaggio di Cuccuruttus (così si chiamava il borgo nel medioevo); la proprietà del castello passa poi ai Capizucchi e infine ai Savelli. Di questi ultimi, Castel Gandolfo rimane feudo fino al 1596, quando a causa degli ingenti debiti della nobile famiglia viene pignorato dalla Camera Apostolica; nel 1604 Papa Clemente VII annette il Castello tra i beni inalienabili della Chiesa e pochi anni dopo i Pontefici iniziano ad usarlo come residenza estiva.
Con la gestione da parte della Camera Apostolica vengono effettuati diversi lavori pubblici; Papa Urbano VII (1623-1644) commissiona la costruzione di Via Galleria di Sopra e Via Galleria di Sotto (così chiamate per la fitta vegetazione che attraversano) che collegano Castel Gandolfo ad Albano; Papa Alessandro VII (1655-1667) si occupa della costruzione di Via Alessandrina, della sistemazione del Palazzo Pontificio nel 1660, e dell’edificazione della Collegiata di San Tommaso da Villanova, progettata dall’architetto Gian Lorenzo Bernini; nel 1728 Papa Benedetto XIII (1724-1730) cede pro-tempore il governo di Castel Gandolfo al Maggiordomo dei Sacri Palazzi, che ne conserverà la gestione fino al 1870; infine a Papa Benedetto XIV (1740-1758) si deve il campaniletto sulla facciata del Palazzo Pontificio, e l’ampliamento della Strada Statale 216 Maremmana III.
Il 20 settembre del 1870, la presa di Porta Pia determina la fine dello Stato Pontificio e la residenza di Castel Gandolfo viene abbandonata dai papi fino al 1929 quando, con i Patti Lateranensi, Benito Mussolini concede Palazzo Pontificio e le ville attigue al nuovo Stato della Città del Vaticano. Nel 1933 venne trasferito all’interno del Palazzo Pontifico l’Osservatorio Astronomico Pontificio (la cosiddetta Specola Vaticana).