El primitivo recinto amurallado data del siglo II a.c. Importantes obras posteriores fueron mandadas ejecutar por Alfonso IX de León (fines XII/principios XIII) y Felipe IV, promotor de importantes reformas en las murallas. El edificio actual sustituyó al que mandara levantar el marqués del pazo de la Merced, Don José Elduayen, como residencia veraniega, sobre el antiguo solar ocupado por las ruinas de un convento franciscano. El actual conjunto se distribuye dentro de una superficie que ronda las 18 hectáreas, combinándose elementos antiguos de marcado carácter militar con los modernos creados como consecuencia del establecimiento del Parador Nacional. Sobresalen la Puerta del Sol - la más antigua de las tres que franquean el acceso al interior -, la Torre da Tenaza antiguamente como polvorín y prisión, la Puerta Real del siglo XVI blasonada con un gran escudo de la casa de Austria, la Puerta de Felipe IV en honor a este monarca, la Torre del reloj de considerable altura y coronada por almenas, y la Torre del Príncipe así denominada probablemente debido al hecho histórico de que en ella estuvo hacia 1137 el príncipe luso Alfonso Enriques, prisionero de Alfonso VII. Presenta un excelente estado de conservación, perteneciendo en la actualidad al Ministerio de Energía, Turismo y Agenda Digital, hallándose en su interior el Parador Nacional Conde de Gondomar, edificio en forma de L y de traza pacega, muy en consonancia con el entorno.