I Colonna, seguendo l'architettura quattrocentesca che prevedeva, a scopo difensivo, un edificio quadrato in posizione centrale avente agli angoli quattro bastioni, ristrutturarono il castello secondo tale tendenza. La torre cilindrica invece fu aggiunta nel corso del XVI sec. circa un secolo dopo. Inserti di mattoni alternati a pietre mal squadrate costituiscono la struttura muraria del maniero che presenta una pianta ad "U": svariate stanze nobiliari si aprono su un cortile rettangolare chiuso. Tale soluzione, utilizzata in molti altri palazzi-residenze dei signori, è in questo caso originale perché fu realizzata con un certo anticipo rispetto alle altre.
Furono invece, come si é detto, i Theodoli nel XVIII secolo a rimaneggiare ancora il castello, che posteriormente presenta due torri angolari. Il terrazzo e le torri terminano con una corona merlata guelfa, voluta dall'architetto Gerolamo Theodoli che aggiunse inoltre le due rampe di accesso ad esedra per fare in modo che il castello fosse ben collegato al sottostante borgo. Chiaramente tali ristrutturazioni completarono i lavori primari a cui l'architetto aveva sottoposto il maniero:
il rafforzamento delle fondamenta. Interessanti a questo proposito
sono gli ambienti sotterranei che, a partire dal 1579 (anno
in cui grazie ad uno statuto veniva riconosciuto alla potente
e nobile famiglia dei Theodoli il potere di amministrare la
giustizia nel suo feudo), furono utilizzati da Theodolo Theodoli
come prigioni.
Splendidi i due giardini pensili perché, anche se di
ridotte dimensioni, sono segno di grande raffinatezza; intorno
ad essi si svolgono i camminamenti di ronda. Ai primi del
Novecento, per l'esattezza nel 1913, l'architetto Francesco
Maria Theodoli provvide ad attuare ulteriori restauri interni
insieme ad altri riguardanti la predetta merlatura di coronamento
non che le due rampe di accesso ad esedra.