I lavori durarono all’incirca trent’anni, dal 1582 al 1613 e vennero completati dal Cardinale Scipione Borghese.

All’interno del Palazzo nel corso degli anni sono stati ospitati artisti, personaggi illustri e, per un brevissimo periodo, anche Garibaldi, che però poi scelse di alloggiare sulla cima del paese per necessità strategiche di controllo.