Adıyaman’ın ortasındaki yığma tepe üzerindeki bu kaleyi VII.yüzyıl ortalarında Bizans saldırılarına karşı koymak amacıyla Emevi komutanı Mansur İbn-i Cavana yaptırmıştır. Kaleye komutan Hısn-ı Mansur ismi verilmiştir. Bu kale sonradan Adıyaman kentinin oluşmasına neden olmuştur. VIII.yüzyılın sonlarına doğru da Harun-ür Reşit tarafından onarılmıştır. Günümüze oldukça harap ve yıkık bir durumda gelebilmiştir.

Adıyaman Kalesi ile ilgili bir efsaneye göre; kalenin orta yerinde bir mil çevresinde dönen bir köşk varmış. Bu köşkte Arap kumandanının kızı kaleyi kuşatan Türk kumandanını görmüş ve ona aşık olmuştur. Kumandana haber göndererek kendisi ile evlenmeyi kabul ettiği takdirde kalenin anahtarını vereceğini söylemiştir.

Bir gece Türk kumandanının yanına kaçmış ve ona elbiselerinin içerisindeki bir şeyin kendisini rahatsız ettiğini söylemiştir. Elbiselerini çıkardığında bir kuru yaprağın vücudunu zedelediği görülmüştür. Kumandan “Baban seni kuru bir yapraktan dahi sakınır yetiştirdiği halde kendisine ihanet ettin. Kim bilir bize ne türlü ihanetler yaparsın”, diyerek kızı öldürtür. Bundan sonra da kaleyi ve şehri ele geçirir.