El Castillo de San Servando se edificó unos años después que el Puente de Alcántara. Fue obra de los árabes y se levantó con el objeto de defenderse de las acometidas de los cristianos que luchaban para reconquistar la ciudad que Alfonso VI les había tomado en el año 1085.
Conserva sus muros exteriores, anchos, fuertes, erizados de almenas, y varios torreones aspillerados en los ángulos. La puerta de entrada que mira a la ciudad tiene un precioso arco de herradura, manifestando así su estilo árabe. En la parte norte, talladas en la roca, pueden verse vestigios de sepulturas romanas. Seguramente, formaban parte de un cementerio.
Levantado con mampostería y ladrillo rojo, tiene planta cuadrada con muros almenados, torres cilíndricas huecas en tres de sus esquinas y cubos en las fachadas de mediodía y levante. El torreón norte se encuentra ceñido de medallones, arcos de herradura y barbacanas salientes.
Tras diversos avatares, y bajo peligro de demolición, en 1874 fue declarado «Monumento artístico nacional». En el siglo XXI, el Castillo de San Servando está completamente restaurado y, tras servir sucesivamente como colegio menor, sede de las Cortes de Castilla-La Mancha y residencia universitaria, ahora lo hace como albergue y lugar de celebración de cursos y conferencias.
