Il Palazzo, insieme all’attiguo Parco Sforza-Cesarini costituisce l’elemento principale del patrimonio culturale di Genzano. Acquistato nel 1564 dai Cesarini, probabilmente all’inizio costituiva una semplice articolazione del recinto fortificato, l’attuale portale, sostituendo oggi l’antica porta del borgo. Importanti sono stati gli interventi di ristrutturazione eseguiti tra il 1713 ed il 1730 per volere di Gaetano Sforza-Cesarini

E’ stato aggiunto un nuovo corpo di fabbrica in direzione del lago, per creare simmetricità con il portale, e l’edificio è stato alzato di un piano su progetto degli architetti romani Ludovico Gregoriani ed il figlio Domenico. La facciata, sul modello del Palazzo Farnese di Roma, appare slanciata ed imponente, divisa in due ordini, con finestre che decrescono verso l’esterno. Questa particolarità, frutto di studi prospettici, crea un effetto ottico che curva la facciata. Inoltre il portale, opera di Domenico Michele Magni, presenta la deformazione degli elementi architettonici, quali i capitelli. Il prospetto posteriore è dovuto ad interventi di ristrutturazione voluti dal duca Lorenzo Sforza-Cesarini tra il 1846 ed il 1857, su progetto di Augusto Lanciani, che si occupò inoltre degli interni e del magnifico Parco di gusto romantico, che affaccia sul Lago di Nemi.