Sul retro del castello 
fa bella figura di sé un cortile abbastanza spazioso avente
un corpo di fabbrica che forma un angolo retto con la facciata
posteriore. Una scalinata imponente conduce al primo piano
del maniero.
Il rimaneggiamento più consistente del castello avvenne in pieno Rinascimento per volontà del cardinale Santacroce: fu infatti ampliato il maniero
grazie alla costruzione di un'ala a nord. Molte stanze furono affrescate dal grande pittore Federico Zuccari.
Si deve aspettare il secolo successivo (XVII) per vedere riprese ancora una volta le opere di riammodernamento del castello voluto dal
Card. Carlo Pio di Savoia che lo aveva acquistato nel 1655.
Castello Brancaccio di San Gregorio
Successivamente alla scomparsa del cardinale il maniero di San Gregorio a poco a poco
entrò in una fase di degrado in quanto per circa due secoli i loro proprietari non vi misero piede, vivendo lontano dall'Italia all'estero.
Soltanto nella prima metà del XIX sec., per la precisione nel 1840, il castello
tornò ad essere abitato;
il duca di Ulceda e sua moglie Bernardina Fernandez de Velasco vi si istallarono ed apportarono delle migliorie estetiche e funzionali al vecchio maniero i cui muri perimetrali furono abbelliti con i merli. Furono fatti anche altri lavori interni e, tramite una scala ricavata nel tufo, si riuscì a collegare il piano superiore con un piccolo portone aperto su piazza Montanara.
