El Puente de San Martín es muy parecido en su construcción al Puente de Alcántara. Tanto es así que se cree que se edificó bajo el reinado de Alfonso X el Sabio. El monarca estaba enamorado de la solidez y belleza del otro puente.
El Puente de San Martín tiene un total de cinco ojos y dos torreones, uno a la entrada y otro a la salida. El estilo de la construcción es gótico, como se aprecia en los arcos ojivales. A lo largo de su historia ha sufrido mucho por las diferentes guerras que han tenido a Toledo como ciudad clave. Por ejemplo las que se produjeron entre Don Pedro el Cruel y su hermano Don Enrique de Trastamara. El encargado de su restauración tras aquel conflicto fue el Arzobispo Don Pedro Tenorio, quien ya había restaurado con anterioridad el Castillo de San Servando.
En el torreón de salida se puede ver la figura de San Julián, patrón del puente. La obra se atribuye a Berruguete. Es el célebre artista del Sepulcro de Tavera, de la portada de San Clemente y otras obras emblemáticas de Toledo.
El torreón exterior es de planta poligonal irregular, habiéndose modificado notablemente su fachada exterior a causa de los daños sufridos en distintas ocasiones. Es de destacar que los adornos de este torreón son escasos, limitándose a sencillas líneas de imposta que sobresalen de sus muros a la altura de los desagües de su plataforma superior. Las almenas de este torreón han sido así mismo reconstruidas en diversas ocasiones. Su fachada interior, hacia el río, mantiene la simetría original.