Habsburg József Antal főherceg birtokba lépésének évében, 1819-ben elhatározta, hogy maga és családja számára nyaralóházat építtet. A tervezéssel Pollack Mihályt bízta meg, aki egy év alatt készítette el a terveket. 1820. június 13-án került sor az alapkő letételére. A főépület építési munkálataival 1826-ra készültek el, további egy évet vett igénybe a berendezése, így feleségével, Hermina anhalti hercegnővel, 1827-ben vehette birtokába az egyik legtisztább klasszicista stílusú magyarországi kastélyt, amely ekkor négyszögletes udvart körbefogó, hátrafelé nyitott, U alakú épület volt. Homlokzata 5 + 3 + 5 tengelyes, középen négy jón oszlopos portikusszal, felette főhercegi címerrel díszített timpanon.

Bár József Antal nádor 1847-ben elhunyt, az épület a Habsburg család tulajdonában volt egészen a II. világháborúig. Jelentős bővítési munkálatokra fia, József Károly magyar királyi honvéd főparancsnok kerített sort az 1870-as évek elejétől kezdődően, ekkor vált a kastély igazi épületegyüttessé. Az U alakú udvart keretező szárnyakhoz további, L alakú szárnyakat építettek. Simor János, székesfehérvári születésű bíboros-hercegprímás ötlete alapján építették át az istállót kápolnává. József Károly az átalakítására Storno Ferenc építészt kérte fel. 1879–1880-ban készült el a munka, ennek során az épületet neoromán stílusban alakították át, és kis tornyot is kapott. 1880. november 27-én Simor János szentelte fel. Nem sokkal a kápolna kialakítása után, a jobb oldali szárny végén két nagy teremből álló könyvtár- és levéltárépületet emeltek. Mindkét hátsó szárny végén egy-egy torony állt.

Az utolsó átépítés a XX. század elejére tehető. Ekkor a kettős U alakú kastélyudvar belső, az eredeti József Antal nádor-féle főépület által körülvett udvarának az újabb, külső szárnyak által határolt udvar felé eső részét zárták le. E munkálatok során nyerte el a kastély végleges formáját. Az alcsúti kastély így a számos bővítés és átépítés után egy belső udvaros négyszögletes főépülettömbből és két jobbra-balra elnyúló L alakú szárnyból állt. Helyiségeinek száma kétszáz fölé emelkedett. A kastélyudvar bejárata előtt nemzeti színűre festett talapzaton álló két, a komáromi várerődből zsákmányolt 1848-as ágyú fogadta a látogatót, József Károly helyeztette itt el őket. Az udvar közepét szökőkút díszítette.

1944 decemberében a kastélyt több tüzérségi belövés érte. December 23-án a reggeli órákban az orosz csapatok elfoglalták Alcsútot. December 25-én este már súlyos tüzek keletkeztek a kastélyban, és megkezdődött az értékek széthordása. Az épület a szemtanúk beszámolója szerint hetekig égett. Ekkor semmisült meg a levéltár és a könyvtár nagy része. Pintér György lelkész, a kápolnában lévő értékek egy részét az egyre terjedő tűz elől a templomba és a zárdába menekítette. Így menekült meg az egyik mellékoltár és a Jézus Szíve festmény, mely Mária főhercegnő alkotása volt. 1945 tavaszán tovább folytatódott a pusztítás, az értékek elhordása. A sérült épületrészek tetőszerkezetét, a cserepeket, a gerendákat a helyi lakosság egy része a hadműveletek során megsérült lakóépületei helyreállításához használta fel. A negyvenes évek végére a tetőszerkezet teljesen eltűnt az épületről, de a nagy részben kiégett épület falai még álltak. 1951 februárjában kezdődött meg az alapokig terjedő bontás, ennek végeztével csak a főépület egy faldarabja és a kápolna maradt meg. A kápolna helyreállítására 1976-77-ben került sor, majd fokozatosan helyreállították a még álló épületeket, illetve a fennmaradt portikuszt is.