Agli inizi del XV secolo il castello, con alcuni pretesti legati alla scarsità della rendita e alle eccessive spese di manutenzione, fu sottratto al monastero di S.Paolo e affidato da Martino V alla potente famiglia dei Colonna, di cui ne era membro.
Castello di Passerano
Dopo alterne vicende nella metà del Cinquecento fu occupato dalle truppe del duca d'Alba che ne ordinò il saccheggio e la distruzione.
Nel Seicento, essendo diminuita la sua importanza strategica, il maniero decadde ed ormai in rovina fu ceduto nel 1622 alla famiglia Ludovisi per poi passare ai Rospigliosi. Nel 1923 il castello di Passerano fu ceduto, unitamente a 1000 ettari di terreno, al barone Paolo Marzi Quintieri che provvide al restauro delle strutture originarie. Il barone, in punto di morte, donò nell'agosto del 1970 il possedimento all'istituto per ciechi San Giovanni Battista di Napoli che in seguito lo cedette alla Regione Campania che tuttora lo gestisce attraverso l'Azienda Agricola di Passerano che produce grano, latte, olio e soprattutto carne.
Di costruzione tipicamente medievale, con la sua pianta quadrangolare, esteriormente il castello presenta una doppia cinta di mura con merlatura di tipo ghibellino finalizzata a formare un triangolo molto stretto e avente una forma allungata in cui sono intervallate numerose torri di guardia. Attualmente purtroppo la vegetazione spontanea ne sta sgretolando le mura. Sul lato corto del triangolo è situata la zona residenziale: un'alta torre circolare alla quale è addossato il corpo di fabbrica stretto e lungo che attualmente è privo di merlatura essendo stato realizzato un tetto. Gli ingressi erano due: vi era la porta principale a nord-ovest, fiancheggiata da due torri, da cui si accedeva alla porta in bugnato del secondo recinto in cui si evidenziano rifacimenti rinascimentali. Una rampa sostenuta da un arco permette l'accesso al piano nobile del palazzo dove, accanto ad una torre quadrata, appartenente al nucleo più antico, si innalzano il maschio ellittico (XIV secolo) e le torri circolari di epoca
rinascimentale.
Fuori della porta del maniero fu edificata anche una chiesa dedicata a S.Benedetto (come attesta la bolla di Giovanni XVIII).
