L'ideazione complessiva del giardino è attribuita a Francesco Maria Castelli da Castel San Pietro, uomo di fiducia della famiglia Borromeo, cui si devono anche il "Tempietto del fauno", il "Serraglio dei cervi", il "Padiglione della voliera" e la "Fontana del Mascherone".

Nella seconda metà del Seicento Carlo IV Borromeo Arese realizzò la "Roggia Borromea", che alimentava il prato irriguo e un mulino e costituiva importante opera idraulica per gestire i giochi d'acqua. Realizzò anche la raffinata fontana a gradoni di gusto romano, decorata da due sculture di cammelli in cesta e conclusa da un bacino in cui l'acqua si raccoglie per filtrare sottoterra, fino a una grande peschiera antistante detta "Vasca dei pesci rossi".

Sensibile al modello francese di giardino divenuto di moda e alle sue lunghe prospettive assiali, Carlo IV Borromeo Arese introdusse anche un viale di carpini che giungeva fino al bosco, e disseminò edicole e tempietti nei punti di arrivo o partenza dei viali.