Nel 1471 venne donato ai Vescovi titolari della Diocesi Suburbicaria di Frascati dal Pontefice Paolo III Farnese, ma ufficialmente la concessione venne registrata solo nel ‘700 quando iniziarono i restauri diretti dal Cardinale duca di York. In quegli anni Taddeo Kuntz si occupò delle decorazioni interne del Palazzo.
Il massiccio edificio rettangolare, costruito nella locale pietra sperone, è caratterizzato da due torri quadrate ed una circolare. All’interno un porticato sorretto da pilastri, delimita un cortile centrale.