Né le cose migliorarono con Pietro Colonna, discendente di Giovanni, poiché anche lui continuò la lotta contro il pontefice che non intendeva rinunciare a rimettere le mani sui territori feudali di Preneste. La tensione tra il pontefice e il Colonna arrivò ad un punto tale che quest'ultimo giunse al punto di rinchiudere nella Rocca il legato pontificio della Campania, San Bernardo dei Marsi. Un altro personaggio illustre che poi vi fu rinchiuso fu Corradino di Svevia. Costui (1252-1268) era figlio di Corrado IV; alla morte di Manfredi (1266) era sceso in Italia invocato dai ghibellini per riconquistare il regno di Sicilia a Carlo d'Angiò ma fu sconfitto a Tagliacozzo (1268); riuscì a fuggire tuttavia fu ripreso presso Torre Astura e condannato alla decapitazione.
Castel S.Pietro Romano
L'odio tra il pontefice ed i Colonna fu sempre alimentato anzi aumentò con la proclamazione di un nuovo papa, molto teocratico, quale Bonifacio VIII (sul soglio pontificio dal 1294 al 1299) che non voleva per niente al mondo rinunciare ad affermare la superiorità della Chiesa sull'Impero e quindi anche a riprendersi i propri possedimenti. Bonifacio così dichiarò non più valida la concessione del feudo di Preneste con territori annessi alla famiglia dei Colonna.
Costoro non accettarono l'imposizione e risposero con altrettanta alterigia dichiarando che Bonifacio, eletto dopo che Celestino V aveva rinunciato ad essere papa, aveva "comprato" la sua elezione. Il pontefice, che anche Dante nella "Divina Commedia" pone tra i simoniaci nell'Inferno, ordinò nel 1298 di distruggere i feudi dei Colonna: Colonna, Zagarolo e Palestrina. Decise di risparmiare in parte Castel San Pietro; anzi proprio nella Rocca Colonna fu imprigionato Iacopone da Todi.
