In seguito però, essendo mutati i tempi e con essi i mezzi di trasporto, poiché ostacolava la viabilità, fu deciso alla fine dell'Ottocento di abbatterla. In un primo tempo però si era pensato di "smontarla" in tanti blocchi numerati e di ricostruirla in un luogo più adatto ma la cosa poi fu abbandonata col risultato che nel 1899 la dinamite mise fine a questa porta secolare.
Il nome "Santa Croce" della piazza è da mettere in relazione con la chiesa parrocchiale, consacrata alla SS.ma Croce, di cui si ha notizia in alcuni documenti del XIV sec. Tale chiesa sorgeva sul lato sinistro dell'attuale Via 2 giugno.
Non sempre tuttavia Piazza S.Croce si è chiamata così; infatti nel periodo fascista (precisamente dal 1922 al 44) essa fu intitolata a Guglielmo Veroli, un tiburtino, seguace di Mussolini, ucciso per ragioni politiche da un comunista proprio in questa piazza. Chiaramente l'aspetto di essa è chiaramente mutato anche a causa dei bombardamenti dell'ultimo conflitto mondiale che rasero al suolo alcuni edifici qui situati.
Scavando nel tempo dobbiamo ricordare
che qui nel XVI sec. fu costruita una bellissima fontana in
travertino (putroppo addossata ad un'abitazione e non situata
al centro della piazza) accolta con grande gioia dai tiburtini,
che, solo grazie al Cardinale
Ippolito d'Este, governatore di Tivoli e creatore di quella
splendida Villa omonima, si videro riforniti di acqua potabile
che alimentò sia le varie fontane pubbliche (fino ad
allora inesistenti e che vennero realizzate) sia le abitazioni.
Che fine fece la fontana di Piazza S.Croce? La stessa della
fontana del sarcofago in Piazza
Palatina. Fu rimossa nel 1891 per permettere l'accesso
ad un locale; sarebbe stato auspicabile che il Comune avesse
fatto propria l'istanza avanzata da alcuni nel 1616, di smontare
la fontana e di rimontarla al centro della piazza.
Se tale monumento è andato perduto, il turista può
ammirare uno stupendo esemplare di bifora perfettamente conservata.
Essa si trova sulla facciata di un palazzo, situato sul lato
destro della piazza scendendo da Via Pacifici. L'edificio
risale al XV sec. ed era della famiglia Serra-Nobili. Lo stile
della bifora è chiaramente gotico; essa, senza ombra
di dubbio, è opera di Angelo da Tivoli, uno scultore
locale autore di varie preziose opere tra cui anche lo splendido
portale gotico che adorna la facciata della chiesa
di S.Maria Maggiore (nota anche come chiesa di S.Francesco
essendo gestita dai frati francescani). Ma osserviamo meglio
la bifora: sulla finestra sono incise le armi di Pietruccio
di Giacomo Brigante Colonna con quelle di Francesca Cenci,
da lui sposata nel 1388, consistenti in sei quarti diluna
crescente sul rosso e l'argento merlato.