El castillo ocupa la cumbre de un monte con una forma elíptica y está construido en tabiyya o tapial rojizo, material típicamente árabe realizado a base de una mezcla de arcilla, arena, cal y piedras muy menudas, un procedimiento de construcción mucho más rápido y barato que las cuidadas obras de mampostería o sillares, lo que evidencia su originaria función eminentemente militar, destinado al acuartelamiento de las tropas beréberes alistadas para las campañas anuales contra los cristianos, cuyo lugar de concentración final, ya en la frontera, era la fortaleza de Gormaz (Soria).

Dispone de catorce torreones rectangulares y uno pentagonal, que adopta esta forma por la necesidad de adecuarse al quiebro que realiza la muralla en esta zona. Las torres apenas sobresalen de la silueta de la muralla.

Sobre una de las torres originales se introdujo la principal modificación cristiana, la Torre de Homenaje, también conocida como Almena Gorda, de la que carecen los castillos musulmanes fue construida en el siglo XV. La torre, de estilo gótico, está construida en mampostería irregular y tiene forma semicilíndrica al exterior, está estructurada en dos cuerpos cubiertos por bóveda de cañón apuntada y esquinas exteriores redondeadas para eludir los efectos de la artillería. La torre no mira hacia la campiña sino hacia el interior de la población para su control e intimidación, lo que indica su transformación con el discurrir de los años en un edificio señorial.

Las torres, muy salientes, son de planta rectangular casi cuadrada, cubiertas con bóveda de cañón y tres pisos: el primero a la altura del patio de armas y el más elevado a la del adarve, con otro intermedio. Las torres están huecas aunque se piensa que originalmente eran macizas, siendo en época cristiana cuando se les abrieron huecos. Cada planta tiene su puerta independiente, mientras que desde la planta superior se podía subir a la terraza mediante una escalera interior. El suelo de cada piso debía ser de madera apoyada en vigas, como se deduce de las hendiduras visibles ahí donde descansaban. En cada planta se abren saeteras, faltando a veces en la planta baja.

Al gran patio de armas se accede por una puerta que mira al este y que se abre entre dos grandes torres que la defienden. Está cubierta por un gran arco de herradura y protegida por un gran matacán que la reforma realizada durante la restauración ha ocultado.

En su patio interior se contempla un aljibe dividido en dos naves separadas por pilares y cubierto por una bóveda de medio cañón. Igualmente, se observa la otra modificación de la época cristiana: la construcción de un alcazarejo mediante la creación de una muralla interior compuesta por un poderoso torreón circular, del que hoy sólo se conserva la base, y dos lienzos que unían ésta con los muros laterales, de los que hoy sólo queda parte de uno de ellos.

El conjunto estaba enlucido con mortero de arena y cal sobre el que se grabaron pinturas que recubrían los muros, imitando fuertes sillares de piedra, con el fin de ocultar su pobre material e impresionar al enemigo. Todo el recinto iba coronado de almenas, de las que quedaron algunas en las torres y también en los lienzos, de tipo prismáticas, sin remates piramidales y sin saeteras debajo de los merlones.

El castillo de Baños de la Encina dispone de dos accesos, uno en cada frente. En el noroccidental se abre un postigo de poca altura, sólo para el paso de personas, del que había que descolgar alguna escalera de mano para salir y entrar. La puerta principal está en el frente opuesto, hacia el sureste, es recta, flanqueada por las dos torres más apretadas del castillo, con las que forma unidad. Se abría hacia el exterior con un gran arco de medio punto, actualmente de herradura, a modo de hornacina, de dovelas con despiece radial.