I Conti di Palombara lo cedettero verso il 1250 ai Savelli e precisamente a Luca, nipote di Onorio III che dette il via a tutta quella serie di pontefici che favorirono con ogni mezzo l’ascesa al potere dei propri familiari (il nepotismo). Anche un altro papa, Onorio IV, al secolo Giacomo Savelli che nel 1285 proprio in questo castello confermò il proprio testamento, favorì i Savelli che per tutto il XIV sec. indisturbati fecero il bello ed il cattivo tempo. Altri eventi storici del XV sec. si verificarono nel maniero: qui infatti ebbero luogo nel 1310 le sedute del tribunale istituito per giudicare alcuni cavalieri dell’Ordine dei Templari. Occorre ricordare che il re di Francia, Filippo il Bello, mise in piedi un processo sommario contro costoro a Parigi collo scopo di impossessarsi, come avvenne, dei loro beni onde finanziare la costruzione della chiesa di Notre Dame.
A questo processo principale si aggiunsero altri più o meno secondari effettuati in altre sedi, tra cui Palombara. La scelta cadde su quest’ultima semplicemente perché il castello appariva abbastanza sicuro, vicino a Roma e abbastanza centrale territorialmente per cui il processo qui organizzato poteva essere di monito per chi era contrario al potere temporale ecclesiastico. Nel XV sec. Palombara ed il castello furono al centro di un episodio cruento: nel 1455 il piccolo figlio di Giacomo Savelli fu assassinato da vassalli senza scrupoli per vendicarsi di essere stati esiliati;
costoro tentarono anche di impadronirsi del castello al fine di donarlo a papa Callisto III nel tentativo di ingraziarselo ma senza successo.
Poi però la fortuna non arrise più ai Savelli: nel 1498, in seguito alla discesa di Carlo VIII in Italia, essendo alleati ai Colonna, si scontrarono con gli Orsini e, per non far cadere Palombara nelle mani nemiche, i Savelli la incendiarono. La guerra tra le due famiglie si chiuse con l’intervento di papa Alessandro VI (Borgia) che, favorito da questa discordia per fare i propri interessi ma sempre preferendo gli Orsini, le convocò alla Rocca Pia a Tivoli. Il pontefice confiscò il feudo dei Savelli assegnandolo agli Orsini ma, col decadere dei Borgia (1504) esso ritornò di proprietà dei Savelli nel 1508 grazie a papa Giulio II.
Troilo Savelli ricostruì il castello consolidandolo e abbellendolo affrescando le stanze private e la cappellina.
Altri eventi visse successivamente il maniero: qui si rifugiò Benvenuto Cellini nel 1532 attendendo che il pontefice lo perdonasse per aver ferito un uomo a Roma; qui nel 1602 nacque Virginia Savelli che andò poi in sposa al duca Piero Farnese e fondò il monastero di S.Maria dei Sette Dolori. Nel 1637 il castello fu venduto ai Borghese; nel 1893 ne presero possesso i Torlonia e solo nel 1949 passò ai Cesarini Sforza. L’amministrazione comunale palombarese l’ha acquistato nel 1971 per farne un centro culturale.