Molto caratteristico è il piccolo campanile a vela. L'eremo, in cui i cappuccini si stabilirono, era molto precario sia per l'impiego dei materiali utilizzati per costruirlo (canne, mattoni crudi, fango) sia per l'ubicazione: infatti il sottostante Aniene, che scorreva vicinissimo, rendeva la zona non certamente salubre. In questo angusto rifugio visse per breve tempo anche Felice Porri , nato a Cantalice nel 1515 ca e morto a Roma il 18 maggio 1587. È il primo cappuccino santificato: la sua proclamazione avvenne il 22 maggio 1712 ad opera di papa Clemente XI. Vestito l'abito cappuccino tra la fine del 1543 e l'inizio del 1544 nel convento di Anticoli di Campagna (oggi Fiuggi), emise la professione religiosa il 18 maggio 1545 nel convento di Monte San Giovanni. Dal 1545 al 1547 visse nei conventi di Anticoli, di Monte S.Giovanni, di Tivoli e della Pallanza (Viterbo). Fino alla morte dimorò come questuante di città nel convento di San Niccolò de Portiis a Roma. Fino al 1572 fu questuante di pane, poi di vino e olio. Oggi la sua tomba si trova nella chiesetta dei Cappuccini in Via Veneto a Roma. Da questo eremo, alquanto malsano, intorno al 1551 i cappuccini se ne andarono per approdare sulla sponda opposta del fiume nella località chiamata oggi Castellaccio, sul Colle Paciocco assai prossimo al tiburtino Cimitero comunale. La nuova ubicazione era di certo migliore rispetto alla prima anche se non di molto. Qui vissero, seppur in uno stretto lasso di tempo, Francesco Passeri da Bergamo e Paolo da Porano, entrambi santificati.
Per il primo (1536-1626), celebre per santità, saggezza e miracoli, prima ancora che fosse sepolto, si iniziò, per volere di Papa Urbano VIII, il processo informativo sulle sue virtù eroiche anche se la causa per la sua beatificazione fu introdotta il 24 settembre 1785. Morto nel convento di San Bonaventura al Quìrinale, i suoi resti furono trasportati in questa chiesa nel 1631 e collocati nella seconda cappella a destra, in un sarcofago di marmo. Il secondo, frate Paolo nacque a Porano, nella diocesi di Orvieto, verso il 1557, dalla famiglia Bruti. Vestì l'abito dei cappuccini a Tivoli verso il 1577. Da Tivoli fu mandato in qualità di Lanino nel Convento di Orvieto, dove allora si lavoravano i panni per tutti frati del Lazio. Scardava, filava, tesseva la lana con tanta diligenza che il P. Provinciale lo fece Capo e Direttore di quel Lanificio. Fra Paolo da Porano raggiunse la santità facendo il mestiere di lanino ad Orvieto per circa 40 anni e dirigendo molti frati che lavavano, tessevano e filavano la lana per le vesti dei frati.
Morì ad Orvieto il 18 aprile 1617. Il convento tiburtino di Colle Paciocco era raggiungibile con un sentiero alquanto scosceso che si snodava in mezzo al bosco per cui nelle giornate piovose diventava fangoso. Di tale inconveniente ben si accorse il Vescovo Annibale Grassi quando, dietro esplicito comando di Gregorio XII, visitò il convento il 21 aprile 1581; poiché le condizioni del sentiero peggioravano di anno in anno, il 18 ottobre 1587 il consiglio comunale deliberò di apportarvi delle migliorie. Annessa al convento c'era una modestissima chiesa dedicata a San Francesco di cui ci resta la descrizione grazie al resoconto della predetta visita pastorale. I "frati del popolo" non potevano più vivere in quell'edificio cadente e così lo abbandonarono il 14 aprile 1606 per venire dentro Tivoli e abitare in un convento edificato sul declivio di monte Ripoli in una posizione ottimale. Il complesso, oggi inglobato nelle costruzioni urbane, in passato sorgeva in un luogo abbastanza isolato seppure a poche decine di metri in linea d'aria dalla Rocca Pia e dalla cinta muraria della città che, con la Porta S. Croce, permetteva l'accesso in Tivoli per chi, venendo dalla sottostante pianura, transitava per Via degli Oliveti. La costruzione del convento, con annessa chiesa dedicata alla Santa Croce, era iniziata nel 1603 e fu terminata nel 1611. Furono il Comune di Tivoli e il Vescovo di Veroli, il tiburtino Mons. Eugenio Fucci, a donare il terreno mentre i lavori edili furono finanziati con la vendita del vecchio convento di Colle Paciocco, con i finanziamenti di facoltosi tiburtini, con l'aiuto della popolazione. Una lapide, attualmente murata nel pavimento ed un tempo situata all'esterno sul portale della chiesa, oggi dedicata alla Madonna della Fiducia, ricorda l'interessamento del predetto Vescovo che però non la inaugurò. Lo fece invece nel 1611 il card. De Giojosa, vescovo di Ostia e protettore dei Cappuccini. Allora la chiesa si chiamava "S.Croce ai Cappuccini" perché il convento annesso, edificato nel 1603 e occupato dai frati Cappuccini dal 1606, era detto della" S. Croce". Del convento rimane ben poco: l'alto muro di recinzione che delimitava il terreno dei frati; l'antico chiostro scoperto con al centro il pozzo e circondato da un porticato sotto cui i cappuccini passeggiavano nelle giornate piovose. L'edificio rimaneggiato più volte è stato utilizzato in vari modi (come riformatorio, come distaccamento scolastico, come ufficio igienico ecc.). Da questo convento e dall'annessa chiesa i frati furono allontanati prima nel 1798 al tempo della Repubblica Romana quindi nel 1810 per opera di Napoleone Bonaparte. I tanto amati "frati del popolo" vi tornarono solo nel 1837 e dovettero di nuovo rimettere a posto il complesso devastato e saccheggiato come era accaduto nel 1798. Poi il morbo del colera colpì le popolazioni di Tivoli, di Roma e dei paesi limitrofi e ancora una volta furono i cappuccini ad assistere gli ammalati così come avevano fatto nelle varie pestilenze del XVII sec. Con la proclamazione dell'unità d'Italia, prima, e con la presa di Roma nel 1870, poi, le cose per i nostri cappuccini cambiarono in peggio: fu estesa anche al Lazio la legge del 1866 con cui venivano soppresse le congregazioni religiose. Il convento della S.Croce di Tivoli fu soppresso il 5 luglio del 1875 e i beni furono messi all'asta il 18 gennaio 1879. I frati allora furono ospitati prima nel Collegio Irlandese (Villa Greci), poi nella Chiesa della Carità ed infine dal 1888 nel Santuario di Quintiliolo presso cui edificarono l'attuale piccolo monastero. Rinunciando ad ampliare la vecchia abitazione di fra Michele Angelo dei Cappuccini, hanno costruito di sana pianta il loro convento adiacente alla chiesa. Sempre a questi frati, e per la precisione a padre Ottavio da Alatri, si deve se oggi conosciamo le vicende del santuario; quest'ultimo infatti, primo storico del convento, nel suo libro "I cappuccini a Tivoli ed il santuario di Quintiliolo" fornisce tutti i particolari inerenti alle vertenze tra il Sacro Speco di Subiaco e la curia tiburtina non che tutti i tratti salienti della storia di Quintilolo e della sua Madonna.