Ritornando indietro, e discendendo nella parte centrale del parco, si incontra il canale dello Stipa, utilizzato in passato, durante le alluvioni, come uno dei bracci di sfogo dell'Aniene; quindi troviamo la Grotta di Nettuno e la Grotta delle Sirene, aperte durante lunghi secoli dalle acque dell'Aniene che, con la violenza e la forza corrosero lentamente le rocce, che ancora oggi rivelano all'occhio del visitatore visioni di voragini impressionanti.
La Grotta di Nettuno è raggiungibile attraverso il percorso Miollis, un tunnel nel vivo della roccia, fatto scavare nel 1809 dal generale francese, governatore di Roma. Per illuminare questo percorso Miollis fece realizzare delle aperture-finestre da cui osservare il magnifico panorama esterno e prendere luce. Successivamente però, nel 1836, dopo l'apertura dei cunicoli gregoriani, che deviarono il corso dell'Aniene verso la grande cascata artificiale, si verificò un crollo nella notte tra il 5 ed il 6 febbraio. Fu il Card. Rivarola, che tra l'altro fece impiantare moltissime varietà di piante nel parco di Villa Gregoriana, a farvi aprire una scalinata.
Il nome "Grotta delle Sirene" fu dato dal pittore Ducros, un famoso paesaggista; costui, ammirando lo straordinario ed unico scenario degli scogli presenti in questa grotta situata ai piedi dell'orrido ed in cui scendono le acque provenienti dalla Grotta di Nettuno e quelle della cascata della Stipa, fu portato ad immaginarle come luogo fantastico abitato da quelle splendide creature marine che sono le leggendarie Sirene. Per evitare che la Grotta delle Sirene subisse la stessa sorte toccata tre anni prima a quella di Nettuno (il crollo) nel 1839 fu fatto un muro per rinforzarla. Sopra la Grotta delle Sirene si può osservare un ponte naturale, detto il Ponte Lupo, che in epoche passate era utilizzato dai locali per eventuali spostamenti con il loro bestiame. Non si conosce il perché esso ha tale nome malgrado siano state fatte in materia vari studi; tuttavia lo stesso nome è stato dato ad un ponte dell'acquedotto situato ai confini del territorio di San Gregorio da Sassola. Quest'ultimo Ponte Lupo è di gran lunga più famoso di quello situato in Villa Gregoriana essendo stato ritratto dall'acquarellista E.Roesler Franz che, per ricambiare lo splendido dono fattogli, consistente nella cittadinanza onoraria conferitagli dal Comune di Tivoli, glielo donò. Ancora oggi tale splendida opera fa bella mostra di sé nel Palazzo comunale S.Bernardino.