Il castello, che spicca nella parte alta del paese, risale al 1351 ma si ignora chi lo commissionò. È invece accertato che fu edificato dopo il paese. I primi proprietari furono Ottaviano de Rocca e Cola del fu Andrea Buccamati; costoro ottennero in enfiteusi il castello che poi vendettero a Orso di Giacomo di Napoleone Orsini. Fu proprio sotto quest'ultima potente famiglia che il piccolo insediamento fu colpito da varie pestilenze col risultato di spopolarsi. Donna Olimpia Orsini lo ripopolò chiamando a risiedere qui gente dai centri limitrofi. Poi gli Orsini lo cedettero a Nañez Sanchez, un barone molto indebitato con lo Stato Pontificio. Proprio per far fronte ai suoi impegni costui impose ai Roccagiovinesi molte tasse.
Nel 1824 il castello passò di proprietà dei marchesi del Gallo.
Castello Orsini
Molto pittoresco appare l'aspetto della rocca alla cui base si ergono antiche case medievali. Nella rocca è invece possibile rintracciare vari stili architettonici dovuti ai rimaneggiamenti apportati nel corso del tempo dai numerosi proprietari. Decisamente scadenti e peggiorativi sono quelli operati dagli ultimi proprietari (vedi ad esempio i merli edificati sulla torre, un palese falso medioevo).
Sono invece quasi del tutto scomparsi gli affreschi della cappella situata nel cortiletto interno.
Roccagiovine era sorto sull'antica Arxiunonis (di questa arce, poi rocca, non si trovano però testimonianze). In una parte del castello vicino la chiesa si trova una lastra di marmo con un bassorilievo di epoca romana; l'iscrizione è inerente la restaurazione del tempio della dea Vacuna operata dall'imperatore Vespasiano (dinastia Flavia).
Interno del castello Orsini
Il tempio era detto Fanum Vacunae (di esso rimane una sola colonna sormontata da una croce a ricordo della pestilenza del 1665), cantato da Terenzio Varrone, Ovidio, Orazio e Plinio il Vecchio. Tale dea era una divinità benefica della campagna. Il Nibby suppone che in questo tempio si istallò un gruppo di persone che poi fondarono il villaggio.
