Conserva sus muros exteriores, anchos, fuertes, erizados de almenas, y varios torreones aspillerados en los ángulos. La puerta de entrada que mira a la ciudad tiene un precioso arco de herradura, manifestando así su estilo árabe. En la parte norte, talladas en la roca, pueden verse vestigios de sepulturas romanas. Seguramente, formaban parte de un cementerio.
Levantado con mampostería y ladrillo rojo, tiene planta cuadrada con muros almenados, torres cilíndricas huecas en tres de sus esquinas y cubos en las fachadas de mediodía y levante. El torreón norte se encuentra ceñido de medallones, arcos de herradura y barbacanas salientes.
Tras diversos avatares, y bajo peligro de demolición, en 1874 fue declarado «Monumento artístico nacional». En el siglo XXI, el Castillo de San Servando está completamente restaurado y, tras servir sucesivamente como colegio menor, sede de las Cortes de Castilla-La Mancha y residencia universitaria, ahora lo hace como albergue y lugar de celebración de cursos y conferencias.