Napoleón ocupó la primera planta en el año 1808
Pequeña cafetería, situada en la planta baja del Seminario.
Cuentan las crónicas que Napoleón entró en Valderas el 28 de diciembre de 1808, el Día de Los Inocentes. Se instaló en la primera planta del Seminario y quemó muchos de sus documentos.
El edificio fue fundado e inaugurado el 21 de septiembre de 1738 por el obispo, hijo de la villa, fray Mateo Panduro y Villafañe, carmelita calzado, catedrático de la Universidad de Salamanca y obispo de Popayán (Colombia). Según sus propias palabras, se trataba de «un gran edificio concebido para la crianza y mejor educación de los hijos de este pueblo».
Un año después fue erigido en seminario conciliar por Real Cédula de Fernando VII. La institución fue agregada a la Universidad de Valladolid y en el siglo XIX se agregó a la Universidad de Oviedo. Durante el pasado siglo XX dependía de la Diócesis de León.
El Seminario tenía vicerrector y maestros para desempeñar las cátedras de Teología Dogmática, Historia Eclesiástica, Moral, Religión, Filosofía, Matemáticas, Gramática Latina y Humanidades; además de un maestro de Educación Primaria.
La institución ofrecía 12 becas de gracias que estaban repartidas 2 para los parientes del fundador, 2 de oposición entre los naturales de la villa y las otras 8 de oposición entre los naturales de la Diócesis de León.
Funcionó siempre con alumnos de la comarca y en 1952 fue vendido por la Diócesis a la congregación religiosa de los Carmelitas Descalzos que, en realidad, siempre lo gobernaron.
El colegio cerró sus puertas en el año 1970 por falta de alumnos y el Ayuntamiento ,o compró cuatro años más tarde, pasando así a ser propiedad municipal y, con ello, de todos los vecinos.