Anche il campanile romanico, originariamente a forma quadrata, fu abbattuto e ridotto a vela così come è possibile ammirarlo oggi. Fu in quest'occasione che sullo spigolo della vela fu apposta l'edicola di forma ovale, con raggiera in stucco, in cui è raffigurata la Vergine. Nell'unica navata rimasta è possibile ammirare uno splendido mosaico cosmatesco. Nel 1911, durante alcuni lavori di restauro, sotto l'affresco dell'abside in cui era raffigurato Cristo in forma colossale nel Giordano con due Apostoli, e due grossi alberi di palma, al disotto del quale si leggeva Iordanes (non tanto, secondo il Sebastiani, per indicare il fiume, quanto per alludere alla famiglia tiburtina a cui apparteneva S.Simplicio, i Giordani), è stata riportata alla luce la grande decorazione originale ad affresco dell'abside 
e dell'arco trionfale, collocabile in un ambito cronologico che va dalla fine del XII sec. agli inizi del successivo. È certamente l'opera di maggior interesse della chiesa.
Gli affreschi, molto simili a quelli della cripta del duomo di Anagni, sono legati alle leggende dell'imperatore Costantino e di S.Silvestro (potere temporale e potere spirituale).
Gli affreschi interni
Poichè sono stati eseguiti con somma arte in una chiesa situata al centro di una nuova area urbana, annessa all'ampliamento della cinta di mura cittadine, si è portati a pensare che essi dovevano rispondere ad un preciso disegno politico.
La scena della glorificazione
è situata nell'arco trionfale: Cristo benedicente campeggia dentro un'aureola con ai lati i quattro evangelisti, i sette candelabri ed i ventiquattro seniori dell'Apocalisse che offrono calici d'oro, simbolo delle preci dei giusti.
Nel catino dell'abside è invece situata la teofania cioè l'apparizione del Cristo sulla cui testa Dio regge una corona. Il Salvatore è ritratto in atto di alzare la mano destra verso Paolo mentre con la sinistra dà a Pietro il rotolo della legge. La scena paesaggistica, raffigurante una riva del Giordano, è racchiusa tra due palme su una delle quali è posata una fenice, simbolo di risurrezione. Sempre nell'abside sono tre cicli di affreschi. Nel primo sono ritratti dodici agnelli (gli apostoli) che, divisi in due schiere, si dirigono verso il sanguinante Agnello divino, posto al centro dell'affresco. Nel secondo ciclo compare invece la Vergine con il Bimbo benedicente . È assisa su un trono ed ha ai lati S. Giovanni Battista e S. Giovanni Evangelista. Nel terzo ciclo infine sono rappresentate scene della vita di San Silvestro papa, in particolare sono raffigurati quattro episodi: Costantino che ordina la strage, il Battesimo di Costantino (gesto che simboleggia la sottomissione dell'imperatore al papa), la Discussione teologica con gli ebrei, la vittoria sul drago .
Di particolare interesse storico, quale testimonianza della presenza di ebrei in zona, è il riquadro dove è raffigurata la disputa con un gruppo di Ebrei, episodio che, che tra i tanti legati alla vita del Santo, leggendari e non, è stato scarsamente raffigurato nelle altre chiese.
