La tradizione, narrata dagli scritti di un gesuita del XVII secolo, vuole che il Colosso, forgiato da tal Polifobo, fosse asportato dai veneziani durante il sacco di Costantinopoli del 1204, e abbandonato durante il viaggio di ritorno sulla spiaggia di Barletta a causa della navigazione resa critica da una tempesta e dal pesante carico. Analisi chimiche inquadrate negli ultimi restauri non hanno riscontrato, però, segni di un'eventuale permanenza in mare della statua.

La versione preferita dagli storici negli ultimi anni proviene da un resoconto del 1279 del frate minorita Tommaso da Pavia. A cavallo tra il 1231-1232 fu infatti rinvenuta, durante degli scavi effettuati dall'imperatore Federico II di Svevia a Ravenna, una statua colossale: pertanto è possibile che proprio Federico II, appassionato ricercatore di antichità e impegnato nella renovatio imperii, abbia fatto trasportare in Puglia la preziosa statua.

Le uniche notizie certe e documentate del Colosso risalgono invece al 1309, quando i domenicani di Manfredonia chiesero e ottennero da Carlo II d'Angiò il permesso di asportare e fondere gli arti della statua, situata a quel tempo presso la dogana di Barletta, per farne delle campane per la loro chiesa. Infatti recenti studi hanno attestato che almeno la testa e il busto della statua sono originali, mentre le gambe sono posteriori.

La statua rimase nella dogana del porto di Barletta fino al 1491 quando, su commissione dei cittadini di Barletta, rifatte le gambe e le braccia dallo scultore Fabio Alfano di Napoli in forma molto differente dallo stile originale, venne posta nella sua attuale collocazione sotto il Sedile del Popolo, una loggia marmorea a sesto acuto di epoca rinascimentale edificata sulla parete orientale della basilica del Santo Sepolcro e abbattuta nel 1925. L'identificazione tradizionale e popolare con l'imperatore Eraclio I (610-641), collegato alla statua per aver recuperato la Vera Croce contro i Sasanidi, va scartata decisamente per ragioni stilistiche.

Sono state proposte queste identificazioni:

Valentiniano I (364-375); Teodosio I (379-395); Arcadio (395-408); Onorio (395-423); Marciano (450-457); Leone I (457-474); Giustiniano I (527-565). La difficoltosa identificazione ha recentemente ottenuto una possibile soluzione con l'ipotesi che l'imperatore raffigurato sarebbe Teodosio II, mentre il committente sarebbe stato il suo cugino e genero Valentiniano III, il quale aveva con l'imperatore d'Oriente un debito di riconoscenza per essere stato posto sul trono d'Occidente da Teodosio in opposizione all'usurpatore Giovanni. Un indizio importante è la presenza sul diadema della statua di un gioiello di arte gota, riconducibile a Elia Eudossia, figlia di un generale goto e madre di Teodosio II. La raffigurazione di un uomo di trentotto-trentanove anni è compatibile con l'età di Teodosio all'epoca del matrimonio di Valentiniano con Licinia Eudossia, figlia di Teodosio. Nel 439, infatti, Teodosio celebrava il trentennale del regno, e nell'agosto di quello stesso anno Licinia dava alla luce una figlia e veniva elevata al rango di Augusta: uno di questi due eventi sarebbe stata l'occasione giusta per erigere una statua al padre dell'imperatrice, che deteneva un'effettiva superiorità sul genero e collega d'Occidente.