Intorno al 1180, nella zona dove ore sorge il castello, fu fondato il monastero cistercense del Gesù. Nel corso del Duecento, accanto al monastero si sviluppò un piccolo abitato, chiamato Miscla nei documenti, dotato di numerosi mulini e protetto, almeno dal 1297, da una torre, tanto che la località cominciò ad essere chiamata Torre della Mischia. Nel 1325 la ricca famiglia pavese dei Fiamberti acquisì numerosi beni e fondi nella zona e, tra il 1325 ed il 1341, fece realizzare il primitivo castello, dotato di torre e ricetto. Negli anni 1360, Galeazzo II Visconti acquistò dai Fiamberti metà del castello, con i fondi a esso pertinenti, mentre la restante parte del complesso fu espropriata dal signore. Il complesso venne fatto restaurare da Gian Galeazzo nel 1384 e inserito nel grande Parco Visconteo (che collegava il castello di Pavia alla certosa di Pavia ed era circondato da mura e torri). A partire dal 1425, in occasione della ristrutturazione del parco voluta da Filippo Maria, il castello acquisì un profondo valore simbolico all'interno dell'organizzazione del territorio. Va segnalato che il parco costituì per la Camera Ducale, soprattutto per l'abbondanze delle acque, una fonte di materie prime: i numerosi appezzamenti di terreno coltivati, i vigneti, i frutteti, i boschi per il legname, i pascoli, gli allevamenti, le colombaie, le peschiere e una gran quantità di selvaggina riservata alla caccia, senza dimenticare gli impinati produttivi, come i mulino o le fornaci. Filippo Maria istituì la carica di capitano del Parco, incaricato della custodia e della gestione dei beni ducali e pose la sua sede nel castello. Nel 1425 Filippo Maria ordinò che a Mirabello fosse costruita, verosimilmente una "casa per residenza del duca", sui sedimi già occupati dal castello trecentesco (che evidentemente versava in pessime condizioni) che venne affidata al capitano del parco. Nel 1472 Galeazzo Maria fece rinnovare e allargare l'edificio, che venne più volte utilizzato dai duchi come sede di rappresentanza politica, in occasione delle cacce e dei banchetti organizzati all'interno del parco. Probabilmente intorno al 1491, Gian Galeazzo Sforza donò il castello a Galeazzo Sanseverino che fece rimodernare la dimora, trasformandola in una residenza di campagna più grande. L'edificio venne così adeguato ai nuovi canoni di rappresentanza nobiliari. I lavori subirono una battuta d'arresto nel 1496 per poi riprendere nel 1501 e continuare (con breve intervallo dal 1512 al 1515 quando Massimiliano Sforza riprese il controllo del ducato) fino al 1521. Il castello venne danneggiato durante l'assedio posto dai francesi a Pavia del 1522. Durante la battaglia di Pavia il castello ospitò il re di Francia Francesco I e nello stesso scontro morì, combattendo tra le fila francesi, Galeazzo Sanseverino. Il complesso tornò quindi nelle disponibilità della Camera Ducale che lo gestì (insieme alle vaste proprietà fondiarie annesse) tramite i vari capitani del parco che si susseguirono nella nomina fino al 1754, quando il Magistrato Camerario dello Stato di Milano mise in vendita la grande proprietà che fu acquistata dall'aristocratico milanese Antonio Giorgio Clerici. Tuttavia, dopo la morte del Clerici, la figlia vendette l'intera proprietà all'ospedale San Matteo di Pavia nel 1768. Tra il 1854 e il 1860 l'amministrazione dell'ospedale fece demolire circa 1/3 delle strutture e le parti rimaste ebbero le più varie destinazioni d'uso: osteria, abitazione dei contadini, scuola elementare e sede del comune di Mirabello. A partire dagli anni '60 del Novecento gli appartamenti ricavati nell'edificio vennero dati in affitto dall'amministrazione dell'ospedale a privati. Nel 2002 il castello fu acquistato dal comune di Pavia.