Fino al IX secolo non c'era il castello, ma solo un castrum bizantino, poi il castello fu dimora di principi della signoria dell'Honor Sancti Angeli: fu di Rainulfo (conte di Aversa) e poi di Roberto il Guiscardo che, dopo aver cinto la città di mura, nell'XI secolo fece riedificare la parte più antica, la torre dei Giganti (di forma pentagonale, alta 18 metri e con mura spesse 3 metri). La struttura venne assumendo importanza nella difesa del Gargano uno dei tre Castra exempta (privilegiati). Ospitò Federico II di Svevia e la sua prediletta, la contessa Bianca Lancia di Torino, e per questo presenta opere architettoniche in stile federiciano, imponenti, ma raffinate come testimonia la sala duecentesca con un pilastro centrale e volte ogivali ("la sala del Tesoro"). Sotto la dominazione normanna furono edificate la torre dei Giganti e la torre Quadra, mentre Federico II fece costruire la cosiddetta sala del Tesoro. L'attuale fortificazione evidenzia soprattutto l'influenza degli Aragonesi che, per difendersi dai nemici, realizzarono il torrione a forma di mandorla e il fossato che precede il portale di ingresso. Gli Angioini curarono assai il maniero, ma di esso si servirono come prigione di stato: famose sono le detenzioni di Filippa d'Antiochia (principessa sveva) che vi morì nel 1273, e quella della regina Giovanna I di Napoli (forse ivi assassinata) e le cui spoglie sono presumibilmente a Monte Sant'Angelo, nella chiesa di San Francesco.