Martonvásár a török idők után a Beniczky család birtokában állt, majd Mária Terézia Brunszvik Antalnak adományozta a birtokot és vele a grófi címet. Gróf Brunszvik Antal 1783–85-ben építtette a kezdetben fölszintes, barokk kastélyt, amelyet 1830-ban klasszicista stílusban építtetett át Brunszvik Ferenc, majd fia, Brunszvik Géza az 1870-es évek elején angol neogótikus stílusban átalakította. 1893-ban a Brunszvik család eladta a birtokot és egy rövid ideig József főherceg birtokában is volt, majd 1898-tól Dreher Antal sörgyárosé lett a kastély és a birtok. Az épületen az 1920-as években kisebb átalakítások történtek, a Dreher család egészen 1945-ig birtokolta. A háborús károk után pedig az 1970-es években Budai Aurél tervei szerint állították helyre, az 1953 óta a Tudományos Akadémia kezelésében lévő épületet. Brunszvik Antal és fia Ferenc a kastély köré hatalmas 70 hektáros parkot épített, közepén tóval, egzotikus fafajokat, például: cédrusokat, mocsári ciprusokat, platánokat ültettek. A parkon átfolyó Szent László patakot felduzzasztva kis szigetet hoztak létre. A kert továbbfejlesztését a neves német kertépítész Heinrich Nebbient végezte, aki később a Városligetet is tervezte. A tervező idejéből származnak a mai napig meglévő kőpadok és a kőhíd. A kastélyban kialakított Beethoven Emlékmúzeumban láthatóak többek között Beethoven levelezései a Brunszvik család tagjaival, de találunk itt korabeli bútorokkal berendezett szobákat, Beethoven hajszálát és a család egykori, Streicher márkájú restaurált zongoráját, amelyen maga a zeneszerző is játszott.