Pirro Ligorio lo amplió y modificó, le dio una nueva línea y consiguió esa perfecta construcción que hacen de la villa una joya arquitectónica. La verdadera fachada del palacio se encuentra en la parte opuesta a la entrada actual, situada en la Plaza Santa María la Mayor.
El edificio limita con la iglesia románica (siglo XI) de Santa María la Mayor formando ángulo recto. Uno de sus lados constituye una pared del patio interior de la misma Villa.

La Fuente de Neptuno

Las vicisitudes de Villa d'Este no terminaron sin embargo con la muerte de su fundador. Éste había dispuesto en su testamento que la Villa se transformara en propiedad de los Cardenales de la Casa d'Este.
Lo sucedieron el Cardenal Luigi, desde 1572 hasta 1586, y, posteriormente, el Cardenal Alessandro d'Este, hasta 1624. Ambos enriquecieron la Villa con nuevas fuentes, con el concurso de los mejores artistas de su tiempo.
Particularmente notable fue la aportación de Giovanni Lorenzo Bernini, bajo el Cardenal Alejandro.

La Villa pasó definitivamente a la Casa d'Este y, sucesivamente, a los Habsburgo, a los cuales perteneció hasta 1918, año en que pasó al Estado Italiano, que la restauró íntegramente. De hecho, bajo los Este y los Habsburgo, la Villa había sufrido largos períodos de triste abandono, siendo su manutención muy costosa.