A poca distancia de la villa, en la vega del río Tormes, fundó Alfonso VII en el siglo XII el Monasterio de San Leonardo para los monjes Premostratenses, que tras abandonarlo en el siglo XV (1447) a instancias de don Gutierre Álvarez de Toledo –Arzobispo de Toledo y señor de la villa de Alba de Tormes- pasó a la orden de los Jerónimos.
El monasterio fue adquirido por particulares en el proceso desamortizador del siglo XIX hasta que en 1962 se instaló la comunidad religiosa de la congregación del Corazón de Jesús (PP. Reparadores). Tras una magnífica restauración fue transformado en Seminario y hoy alberga el Museo de Prehistoria del Padre Ignacio María Belda. Los restos del antiguo conjunto monacal fueron declarados monumento histórico-artístico en 1931.
Hoy en día también es Centro de Educación Secundario como Seminario Menor.
La distribución de las construcciones no responde a la norma seguida durante la Edad Media en la mayor parte de los monasterios: el claustro está desplazado hacia el Este y las dependencias se adelantan a la cabecera de la iglesia, posiblemente por ceñirse a las obras de los Premostratenses. La iglesia gótica, erigida en 1472 por don García Álvarez de Toledo, consta de una sola nave, dividida en cuatro tramos regulares con capillas entre los contrafuertes, y una capilla mayor cerrada por tres paños formando un ábside poligonal. En el exterior presenta un aspecto severo excepto en la portada del hastial.
Vinculado a la Casa de Alba encargada de las donaciones y limosnas actuando como protectora del mismo desde que en 1430 don Gutierre cediera el monasterio a la Orden de los Jerónimos consiguiendo mediante bula papal el traslado de los Premostratenses que lo ocupaban a Ciudad Rodrigo. A partir de ese momento se convertiría en otro foco de luz y cultura para la Villa, residiendo en él personajes de gran importancia para la historia como Hernando de Talavera o Fray Juan de Ortega.
En la Capilla mayor fueron enterrados D. Gutierre, doña María de Pimentel y su esposo el II Duque Don Fadrique Álvarez de Toledo. Los restos del obispo se trasladaron a la iglesia de Santiago debido a la destrucción sufrida por el monasterio a causa de los soldados franceses durante la Guerra de Independencia.