Le massicce strutture fanno supporre la presenza di un terzo piano, di cui non rimane più nulla. Nel tempo la torre subì diversi rimaneggiamenti: il basamento fu circondato su tre lati da un basso portico con avancorpo a tetto spiovente. I padri Gesuiti, un tempo proprietari di Rocca Bruna, aprirono nel pilone Nord-Est del piano terra una cappella alla quale si accedeva dall'esterno. La funzione dell'edificio in epoca adrianea era probabilmente quella di Belvedere, posta come in uno dei luoghi più panoramici della Villa.
Affacciati dalla Torre si poteva vedere da un lato la campagna romana fino al mare e dall'altro il monte Soratte ed i monti Lepini.
La passione che Adriano aveva per I'astronomia fa pensare inoltre che la Torre di Rocca Bruna potesse essere utilizzata come osservatorio astronomico.
La torre trova confronti con edifici simili che sappiamo esistevano a Roma: I'esempio più noto è quello della torre di Mecenate all'interno dei giardini sull'Esquilino, dalla quale si dice che Nerone assistette all'incendio di Roma. Una torre con funzione di luogo di segnalazione o di faro era presente anche all'interno della villa dell'imperatore Tiberio a Capri.