L’epoca d’oro di Villa Arconati si intreccia con la vita di diverse generazioni della Famiglia Arconati, che per due secoli fu proprietaria e anima del Castellazzo, precedentemente appartenuto al Marchese Guido Cusani.

Galeazzo Arconati, cugino del cardinale Federico Borromeo, nel 1610 investe il suo patrimonio nell’acquisto della proprietà del Castellazzo, comprendente la “casa da nobile”, le corti rustiche e la cassina del torchio. Amante e collezionista d'arte, dilettante d'architettura – tra i suoi incarichi risulta anche quello di rettore della Fabbrica del Duomo – egli apporta rilevanti modifiche alla struttura del "palatium", ingentilendone gli aspetti formali ed eliminando gli elementi più rustici. La casa dei nobili era composta da un blocco rettangolare con, a piano terra, il portico e lo scalone e, al piano superiore, una galleria e da un secondo blocco rivolto ad ovest, verso lo stradone di Milano. Le modifiche apportate dal 1619 sono quelle riferite al portico, all'ampliamento dei piani nobili, all'acquisto di sculture, di marmi classici romani, della statua di Tiberio, un tempo detta di Pompeo Magno, del Codice Atlantico di Leonardo da Vinci, di frammenti del monumento funebre a Gaston de Foix. È inoltre Galeazzo che, a partire dal 1621, rincasato da un soggiorno romano, organizza la pianificazione integrata tra villa, paesaggio e Giardino, sulla base di esempi di ville romane e fiorentine, introducendo i teatri e i giochi d’acqua ispirati agli studi di Leonardo da Vinci.

Con Galeazzo anche il Borgo raggiunge la sua configurazione integrata con la Villa, sviluppandosi da questo momento in aderenza ad essa.

Il progetto di nobilitazione del palazzo di Galeazzo essenzialmente invariato e incompiuto per gli anni successivi alla sua morte (1648), sotto la direzione del Conte Luigi Maria Arconati, suo nipote e genero, il quale si occupa piuttosto della riqualificazione del borgo e della costruzione delle scuderie coperte, consegnandoci uno spazio unitario, caratterizzato da equilibrate proporzioni e simmetrie.

Dopo la morte di Luigi Maria (1671) è invece il figlio Giuseppe Maria Arconati a portare avanti le volontà di Galeazzo. A Giuseppe Maria va il merito di avere ampliato la Villa costruendo l'ala sud-est oltre a una serie di interventi nel giardino. L'amore per l'arte e le predilezioni del collezionista traspaiono da affreschi e quadri collocati nella nuova ala, in continuità ideale con Galeazzo. Ne sono esempio il riordino del Gabinetto di Gaston de Foix, avvenuto a partire dal 1712, e la presenza di collezioni di opere d'arte, statue in marmo, oltre a gessi, stampe e disegni, fino al trasferimento della Biblioteca al piano terra.

Nel 1718 Giuseppe Antonio Arconati, nipote di Giuseppe Maria, uomo di cultura, estimatore del teatro, e protettore di Carlo Goldoni, eredita i beni di famiglia. Frequenti nella sua vita sono i viaggi a Parigi e Vienna, durante i quali conosce l'architettura d'oltralpe, ed in primis la Reggia di Versailles. Nel 1742 iniziano i lavori di ampliamento dell'ala sud-ovest, attribuiti secondo alcune fonti ai progetti dell'architetto Giovanni Ruggeri, artefice di numerosi palazzi e ville milanesi. Nel giardino, intorno al vecchio “giardino dei fiori” si forma una corte a U rivolta al viale di ingresso e allo stradone di Milano e viene ampliata e sistemata a parterres la zona sud. Dal 1750, quando l’intervento architettonico sulla Villa può dirsi concluso, Giuseppe Antonio chiama i fratelli Galliari, incaricandoli degli affreschi del salone da parata del Piano Nobile. Con l’estinzione degli Arconati di Castellazzo, a partire dal 1772 la proprietà passa ai cugini Busca, che portano avanti la volontà di mantenerla indivisa. Nel 1850 il Marchese Antonio Marco Busca compie importanti interventi e opere di ristrutturazione, tra cui la sistemazione della facciata con il portico e alcune decorazioni interne, come il trompe l’oeil dello scalone, secondo alcuni attribuito a Giocondo Albertolli.

Dagli Arconati ai Busca, verso la metà del '900 la Villa giunge in eredità a donna Beatrice Crivelli alle cui cure si deve oggi la sua conservazione. Nel 1907 la Villa presenta ancora alcune sale intatte come quella della musica, la biblioteca, la camera da letto gialla e la sala da ricevimento. Dopo una serie di interventi decorativi durante il primo '900, la piccola porzione ancora abitata viene ristruttura negli anni ‘70, fino a quando nel 1989, tutti beni di pregio ancora custoditi al suo interno vengono venduti all'asta.