Nel secolo XIV, sui ruderi della grancia, fu costruito un palazzo baronale (oggi di proprietà della famiglia Pagano). E’ in questa fase che nella storia di Quadrelle compaiono le prime famiglie nobili residenti.
Il Palazzo Pagano viene edificato sui ruderi della Grancia dei monaci di Montevergine. Secondo i documenti agli inizi del XVII secolo la famiglia Barile di Napoli, acquista a Quadrelle “una casa con giardino”, che può essere identificata proprio con l’antica sede di proprietà abbaziale.
In seguito la proprietà passò a Don Paolo Braccio, Barone di Cutignano e nel 1743 a Don Francesco Emanuele Pinto, Principe di Ischitella.
In realtà le origini del palazzo sarebbero antecedenti al 18 agosto 1742, e potrebbero risalire al 1613, quando il palazzo era di proprietà del giureconsulto Ovidio Barile. E’ grazie ai Barile e a tutte le altre famiglie baronali che li seguirono nella proprietà del palazzo fino a Don Francesco Emanuele Pinto, Principe di Ischitella, che l’iniziale orto monastico si trasforma in vero parco ameno con modifiche che non cessarono mai nel corso degli anni.
A queste famiglie nobili si deve anche l’acqua pubblica; infatti lo stesso Principe di Ischitella, dovendo ampliare e ristrutturare il palazzo, chiedeva all’Universitas di Quadrelle di poter togliere l’acquedotto situato nel cellaio all’interno del palazzo ove attingevano i cittadini. Per tale motivo il 19 giugno 1746 era stipulata una convenzione in base alla quale, le sorgenti provenienti dai monti e utilizzate da sempre anche per le fontane del giardino, venivano concesse in uso alla popolazione attraverso una fontana da costruirsi dinanzi all’ingresso del palazzo nello spazio ceduto appositamente al Comune, di cui la demolizione del volume prospiciente la strada principale del vecchio borgo medioevale, con la creazione dell’odierna piazzetta G. B. Pagano.
Sin dal 1600, l’antico possedimento ecclesiastico veniva, dunque, trasformato in residenza padronale legata alla conduzione dei fondi rustici e quindi il palazzo assunse già l’attuale conformazione architettonica, prima dell’ultima definitiva vendita da parte del Principe di Ischitella a Don Sebastiano Pagano, ed è a questa famiglia che appartengono ancora oggi il palazzo ed il giardino, che da questo momento è stato arricchito con maggior ornamenti e, da sito agricolo legato a necessità produttive, comincia ad assumere il carattere di luogo di ornamenti e di delizie che conserva tutt’ora.
E’ probabile che la cessione dell’area per la costruzione della pubblica fontana abbia determinato la mutilazione del prospetto principale su Corso Umberto I, sostituito da un volume basso su cui si apre l’ampio portale di ingresso. L’edificio presenta un impianto planimetrico a corte quadrata che disimpegna gli ambienti di servizio a piano terra e gli ambienti residenziali al primo piano, serviti da due scale di cui una esterna; tale impianto è espressione tipica delle “tecniche seicentesche di costruzione volute dalla Casa dell’Annunziata di Napoli, che sono tra le più all’avanguardia per quei tempi”. E’ probabile che in seguito all’arretramento del volume a fronte strada, il palazzo abbia subito oltre alla perdita del prospetto principale, anche quella di una scala più rappresentativa.
A parte questo intervento, il palazzo non ha subito nel tempo ulteriori trasformazioni sostanziali ad eccezione di ristrutturazioni fatte nel corso di questo secolo che ne hanno alterato le caratteristiche sfigurandone i caratteri volumetrici e perdendo delle parti decorative con la trasformazione della copertura in volume abitabile. Rimangono ancora interessanti elementi architettonici quali la cappella ed alcuni locali al primo piano con pareti affrescate, il prospetto porticato nel cortile, il pozzo e la pavimentazione in ciottoli calcarei nel cortile che ha funzione di drenaggio per la imponente cisterna.