I due interventi di ampliamento (il primo risalente al 1866 e il secondo al 1931), entrambi motivati dall'esigenza di aumentare il numero di seminaristi (inizialmente pari a sedici), hanno certamente modificato i caratteri originari della costruzione.
All'origine l'edificio consisteva di quattro piani: piano interrato, piano nobile, piano mezzano e piano secondo. I piani interrato e mezzano si contraddistinguono per le finestre di dimensioni ridotte e di forma quadrata rispetto alle finestre del piano nobile e del piano secondo più grandi e di forma rettangolare.
Grazie al Crocchiante sappiamo anche come erano adibiti i vari locali. Il piano seminterrato ospitava le dispense, le officine e la cucina mentre il piano nobile accoglieva le due sale più grandi dell'edificio caratterizzate da una doppia altezza e da volte lunettate che ospitavano la scuola del canto fermo ed il refettorio. Il piano mezzano era riservato alle stanze per i servitori, mentre nell'ultimo piano vi erano le celle dei Chierici, del Rettore, del Prefetto. All'interno del palazzo era presente anche una cappella dedicata a S. Filippo Neri e un giardino.
L'ingresso principale è caratterizzato da un portale imponente, a cui si accede dopo aver salito una rampa maestosa ma ripida di scale, e sulla cui sommità si staglia l'enorme stemma
del cardinale Roma.
Cappella di S.Filippo Neri
Fu proprio in questo edificio che, sotto l'episcopato di Placido Pezzangheri (1728-1757), su iniziativa del rettore in carica G. A. Giustini e con l'appoggio finanziario dell'Arte Agraria, fu approvata la risoluzione di incoronare la Madonna di Quintiliolo che avvenne il 10 giugno 1755.
Dopo la caduta di Napoleone il seminario, che per un periodo era stato chiuso, riprese la sua attività, soprattutto durante il papato di Gregorio XVI, il quale vi aveva soggiornato quando era ancora un frate camaldolese (un'iscrizione in latino, posta sopra la porta della camera che lo ospitò, ne ricorda il soggiorno).
Fu durante l'episcopato di Carlo Gigli (1840-1880) che avvenne il primo ingrandimento dell'edifico, al fine di aumentare il numero degli alunni, innalzando parte di esso di un piano.
Tuttavia con lo scoppio della prima guerra mondiale le difficoltà furono tali che il vescovo Gabriele Vettori (1910-1916) dovette chiudere il Seminario.
La riapertura avvenne con il vescovo Luigi Scarano (1917-1931) che diede il via alla seconda importante modifica dell'edificio: la realizzazione di una nuova ala costruita occupando parte del giardino interno la cui facciata dà su vicolo del Seminario, di una scala interna all'edificio usata come collegamento tra la parte antica e quella moderna e delle coperture a terrazzo che sostituirono i tetti. Progettista dell'opera fu Edoardo Moronelli ingegnere ed architetto.
La diminuzione delle vocazioni ecclesiastiche e le nuove difficoltà dovute alla seconda guerra mondiale portarono alla definitiva chiusura del Seminario.
Dopo il secondo conflitto mondiale il diradarsi delle vocazioni ecclesiastiche provocò la definitiva chiusura dell'istituzione. Nel 1944, dopo l'occupazione di Tivoli da parte degli Alleati, due istituzioni assistenziali, per concessione del vescovo Domenico Della Vedova (1943-1951), occuparono l'edificio. Fra questi l'Asilo Taddei, la cui sede nei pressi della chiesa di S. Pietro alla Carità, fu resa inagibile dai bombardamenti fino al 1951, anno in cui terminarono i lavori di ricostruzione. Nei sotterranei del seminario, utilizzati durante la guerra come rifugio, trovò ospitalità l'officina meccanica dei ragazzi di don Nello.
Dal 1955 al 1977 i piani superiori furono la sede della scuola media "Albio Tibullo". Da allora l'edificio è rimasto pressoché inutilizzato e solo di recente, in attesa di un intervento di restauro, è stato in parte usato per delle mostre, conferenze, lezioni e seminari della LUIG.
