El castillo se alza sobre el gran promontorio desde el que se divisa el conjunto de la población, siendo un claro ejemplo de los castillos roqueros de la época de Al-Ándalus. Presenta una planta en forma de triángulo, truncado por su lado nordeste, con su lado mayor mirando hacia el sur y con un gran espacio central. Se encuentra envuelto por un lienzo de muralla con torres flanqueantes en los ángulos sureste y suroeste. El lado nordeste está cerrado por un edificio de planta rectangular, al que se adosa por el oeste una torre pentagonal en proa, y, por el este otra torre, encontrándose así mismo adosado con el edificio del pósito. El acceso primitivo al castillo se cree se realizaría por el lado nordeste mediante un acceso en recodo a través de una torre adosada al edificio rectangular primitivo.

La totalidad del conjunto está envuelta por una barbacana y un foso, prolongándose dicha barbacana por la línea de la muralla de la alcazaba o villa, la cual abarca, junto con el castillo, la parte más elevada del promontorio y de la actual ciudad, conformando el conjunto del castillo y de la alcazaba uno de los conjuntos monumentales más singulares de ese momento. En el espacio interior que comprendía la alcazaba se localizaba con toda probabilidad el espacio de la mezquita, la cual se piensa estuvo situada en el actual emplazamiento de la parroquia, así como los baños y las casas de los nobles.

El núcleo primitivo del castillo se encuentra la nordeste y está constituido por una torre y una estancia, a la cual se accede por un arco de medio punto formado por seis dovelas que se apoyan sobre salmeres convexos, no obstante, el paso del muro es de tipo adintelado y presenta a ambos lados unos huecos rectangulares para albergar las hojas de las puertas cuando estuvieran abiertas.

Dicha estancia está cubierta por bóveda de medio cañón construida en piedras irregulares y posee dos vanos más. Conserva completa la planta pero debió tener otro segundo cuerpo del que sólo quedan los arranques de algunos de sus muros. El aparejo de los lienzos exteriores e interiores es de sillería regular, de pequeño formato, estando trabada con mortero de cal. La anchura de sus muros es de 1,80 metros. Tradicionalmente se ha considerado la totalidad de este espacio de época emiral, fechándose su origen a mediados del siglo VIII, siendo reformado en el siglo X, pero los últimos trabajos de investigación lo datan en el siglo XII. Esta sala ha sido objeto de una rehabilitación en 1998.

La actual puerta de ingreso al castillo se sitúa en el lienzo más oriental y conecta directamente con el patio de armas; la puerta presenta un arco rebajado con dovelas de sillares de piedra, que parece ser de época nazarí.

El recinto murado interior posee un perímetro de 98 metros. En su origen los lienzos de muralla presentarían un núcleo de lleno y dos hojas de sillarejo dispuesto en espiga y con llagueado saliente en las juntas.

El conjunto de la fortaleza del castillo consta de varias torres; la Torre adosada al cuerpo primitivo, la Torre en proa noroeste, la Torre del homenaje y la torre sudeste.