Tale sede era, secondo Ippolito II, scomoda e non all’altezza della sua dignità. Nella Valle Gaudente volle quindi realizzare il progetto di un Villa tiburtina tale da poter essere comparata per magnificità con quella che l’imperatore Adriano si era costruito ai piedi della Superba Tibur e dell’altra, erroneamente creduta di Augusto, il Santuario di Ercole Vincitore situato poco distante dal Tempio della Tosse e dalla Porta del Colle. Ippolito II non si curò di apportare modifiche a tale portale d’ingresso e non vi collocò neppure sopra il suo stemma (quello che attualmente è posto in loco, è del XX sec. ). Varcandolo si entra nell’androne, nella Sala delle Storie di Salomone (qui è situata la Biglietteria), nel porticato, nel chiostro interno e quindi si accede all’Appartamento Superiore o Vecchio.
Un ampio scalone di rappresentanza permette di raggiungere il lungo corridoio della “Manica Lunga” che immette all’ Appartamento Nobile. Non è visitabile il resto del Palazzo. Esternamente il Palazzo, rigorosamente squadrato, è molto sobrio; ne apprezziamo l’architettura tipicamente rinascimentale osservandone il prospetto principale situato sul Vialone (delimitato dalla Gran Loggia e dalla Fontana di Europa).
I tre piani, che lo compongono sottolineati da marcapiani, si elevano su un alto basamento per permettere la completa visione del Palazzo da colui che entra dall’ingresso ufficiale di Via del Colle. Le finestre sono delineate da una semplice e lineare fascia di travertino che ne segue il perimetro su tre lati. Splendido il doppio loggiato aggettante eseguito negli anni 1566-67, che permette di offrire all’Appartamento Superiore uno spazio aperto da cui ammirare il panorama e che dà all’Appartamento Nobile l’accesso al giardino. Il doppio loggiato è realizzato in due ordini (dorico e corinzio); lateralmente si aprono due scenografiche rampe di scale in travertino o lapis Tiburis. Nella parte sottostante il loggiato a piano terra, delimitato lateralmente dalle predette scalinate, trova ubicazione un ninfeo in cui era la fontana di Leda (il gruppo scultoreo è a Roma presso la Galleria Borghese). Prospiciente detto ninfeo a pochi metri si ammira la fontana del Tripode (copia di quella oggi al Louvre) che Attilio Rossi qui collocò intorno agli anni Trenta del XX sec.