Il castello ha forma rettangolare, con al centro l'antica rocca (un mastio), ed ha ad ogni angolo quattro torri semicilindriche merlate. Nel cortile si conserva ancora la cisterna ottagona, adorna di colonnine e di stemmi degli Orsini su ogni lato. I saloni interni sono affrescati con scene mitologiche, paesaggi e stemmi appartenenti alla famiglia Cesi ed eseguiti dalla scuola di Federico e Taddeo Zuccari. Essa sarebbe stata realizzata nel 1439 da Mastro Guglielmo. I saloni interni sono affrescati con scene mitologiche, paesaggi e stemmi appartenenti alla famiglia Cesi ed eseguiti dalla scuola di Federico e Taddeo Zuccari.
Nel 1479 gli Orsini concessero a S.Polo uno statuto scritto in volgare; in base ad esso l'amministrazione era affidata ad un collegio temporaneo, il " massariato", il quale poteva insediarsi solo dopo aver giurato di non apportare nessuna modifica alle norme statuarie. S.Polo pagava dei tributi allo Stato Pontificio essendo inserita nella sua amministrazione. Nel 1558 gli Orsini cedettero alla potente famiglia dei Cesi per ventisettemila scudi S.Polo così come si disfecero anche di Marcellina, di Torrita, di Spogna, di Santa Maria in Monte Dominico.
La fortezza di S.Polo fu trasformata dai Cesi in residenza
estiva frequentata dal mondo bene di allora. Qui infatti nel
1603 si stabilì la prima sede dell'Accademia dei Lincei,
creata da Federico Cesi, il quale, essendo amico di Galileo
Galilei, lo ospitò. Da qui il grande botanico partiva
per ascendere al
Pratone (detto per questo Anfiteatro dei Lincei) ove compiere
i suoi studi scientifici.
Nel 1656 la peste spopolò il paese che nel 1678 dai
Cesi passò alla famiglia dei Borghese insieme a Castel Madama e a Montecelio. Divenendo comune dello Stato Pontificio ed
autonomo subito dopo l'unità d'Italia compiutasi con
la presa di Roma (1870), il maniero attualmente è di
proprietà di un privato.
A pochi metri dal castello è situato il Museo Civico
Preistorico, aperto solo il sabato e la domenica mattina.