La fortezza vera e propria risale al XVI secolo, quando i Medici, divenuti padroni del castello di Livorno, avviarono un'importante trasformazione delle strutture preesistenti. I lavori iniziarono nel 1519 su progetto di Antonio da Sangallo il Vecchio e si conclusero nel 1534, sotto il duca Alessandro de' Medici, come riportato in una lastra commemorativa ancora conservata sulle mura dello stesso fortilizio. ochi anni dopo, il granduca Cosimo I de' Medici volle realizzarvi un palazzo per farne la propria residenza durante le sue frequenti visite alla città; l'edificio, completato intorno al 1546, sorgeva al di sopra della "Quadratura dei Pisani" e dominava per la sua imponenza il profilo della fortezza. Lo stesso granduca volle edificare, all'esterno della fortificazione, una residenza per il suo seguito (attuale Palazzo Mediceo). Il suo successore, Francesco I, innalzò invece una palazzina rivolta verso il mare e, sul lato opposto, una piccola cappella dedicata a san Francesco, dove nel 1606 si svolsero le solenni cerimonie per l'elevazione di Livorno al rango di città. Con la fine della dinastia medicea e il passaggio del Granducato di Toscana ai Lorena, la Fortezza Vecchia divenne sede di una caserma militare (1769) per nobili, al fine di formarli ufficiali dell'esercito toscano. Successivamente diviene l'alloggio degli ultimi schiavi e "bonavoglie" liberati dopo la soppressione del Bagno penale. Durante l'occupazione napoleonica, i bastioni furono sopraelevati con un alto muro di coronamento con feritoie per fucileria e l'apertura di numerose e caratteristiche bocche per i cannoni. Nello stesso periodo sulla sommità del Mastio fu posto un telegrafo visivo. Parzialmente adibita a prigione (vi sarà recluso per breve tempo anche Francesco Domenico Guerrazzi) e inglobata successivamente nell'area doganale del porto, la fortezza, negli anni che vanno dalla metà dell'Ottocento ai primi decenni del Novecento, subì numerose modifiche con l'apertura di nuovi varchi interni ed esterni alla cortina muraria. La seconda guerra mondiale causò danni ingentissimi, distruggendo quasi completamente il Palazzo di Cosimo e la maggior parte degli edifici presenti sugli spalti, ad esclusione del possente Mastio di Matilde. A partire dagli anni settanta è stato avviato un impegnativo programma di restauro, che ha recentemente riconsegnato gran parte della complesso alla cittadinanza.