Leggendo i "COMMENTARII" di Pio II veniamo a conoscenza dei lavori eseguiti per edificare tale rocca: per non offrire riparo ai nemici il confinante anfiteatro romano di Bleso fu livellato, il muraglione della cinta urbana medievale fu rialzato dalla parte verso nord inglobante la vicina porta, difesa da un baluardo, in cui oggi si trova il ristorante la "Taverna della Rocca" .
Tale fortezza risulta così composta: quattro torri di diverse dimensioni raccordate da alti muraglioni coronati da archetti pensili di sapore medievale presenti anche sulla sommità dei torrioni; in qualche punto si aprono spazi per le bocche di fuoco che si andavano affermandosi. Le due torri maggiori (altezza rispettivamente di m.36,50 e di m. 25,50) sono situate verso l'esterno per meglio difendersi da un eventuale attacco forestiero.
Il diametro della maggiore è di m.13,20 e contiene
6 stanze sovrapposte, quello dell'altra è di m.10 ed
ha 5 stanze sovrapposte. Le due torri minori si aprono invece
verso il cortile interno per controllare sia l'interno della
fortezza che la città. Le due torri sono delle stesse
dimensioni ma all'esterno hanno un'altezza diversa: m.18,50
e m. 15,50; contengono entrambe 3 stanze sovrapposte. Particolarmente
massiccio lo spessore delle mura visto che si stava affermando
la polvere da sparo: nella torre maggiore è di m.3,90
, nella mediana m.2,90 e nelle due minori m. 2.
L'ingresso al castello ,
che doveva essere controllato da un ponte levatoio, è sul
lato nord. Sul portale si legge un'iscrizione in latino: "GRATA
BONIS INVISA MALIS INIMICA SVPERBIS SVM TIBI TIBVRE ENIM SIC
PIVS INSTITVIT", che, tradotta, suona così: "Eccomi, sono
qui per te, oh Tivoli, benvista dai buoni, malvista dai cattivi,
nemica ai superbi: poiché Pio II così volle". Nel corso del
Settecento venne usata come carcere e caserma dopo essere
stata occupata sia dai francesi che dagli austriaci; in età
napoleonica la trasformazione in carcere fu definitiva e per
svolgere degnamente tale funzione venne aggiunto un corpo
di fabbrica addossato al muro settentrionale. E' rimasta una
prigione fino al 1960.