En 1644 Felipe IV concedió a Lorenzo Fernández de Villavicencio el título de alcaide del Alcázar. Por aquel entonces el cargo estaba vacío de toda responsabilidad militar, pero llevaba aparejada la tenencia del Alcázar, por lo que la familia Villavicencio pasó a ocupar el edificio.
Comenzaron entonces una serie de reformas que transformaron de manera sustancial el recinto, la más importante fue la construcción de un gran palacio que se apoyaba en una de las torres de origen islámico. Es una obra de mediados del siglo XVIII y un magnifico exponente del barroco local. En el dintel de la puerta principal puede verse el escudo de Castilla y León, porque al fin y al cabo el edificio nunca dejó de pertenecer a la corona. Por eso están en la cornisa los castillos y los leones, como símbolo del poder Real.
En 1794 Carlos IV concedió al entonces alcaide Lorenzo Fernández de Villavicencio el título de duque de San Lorenzo de Valhermoso. Fue esta la época de mayor esplendor del palacio, cuando incluso se representaban óperas italianas en los jardines y lo más granado de la nobleza local acudía a fiestas de ensueño.
Pero poco a poco la familia Fernández de Villavicencio fue decayendo, y con ella la magnificencia de su palacio, hasta que a comienzos del siglo XX los duques decidieron abandonarlo, vendiéndoselo a Salvador Díez. Este industrial bodeguero realizó una serie de reformas para adaptar el palacio a un nuevo uso, el de hotel, pero el proyecto nunca llegó a buen fin y a la muerte de don Salvador el edificio quedó cerrado. Fueron largos años de abandono que se llevaron por delante todo vestigio de grandeza del que apenas ha llegado hasta nosotros algún eco.
En cuanto a la distribución del palacio, en la planta baja se encontraban las zonas de trabajo y algunos salones. A la izquierda de la escalera está la puerta de entrada a un salón conocido como “Salón de los Arcos”, aunque no tiene ninguno. La razón es que en este lugar existían dos salones con bellos arcos, cuyas bóvedas se derrumbaron en 1984. Aprovechando esta circunstancia se llevaron a cabo excavaciones arqueológicas que descubrieron la alberca de los jardines del antiguo palacio almohade.
En la segunda planta, que se corresponde con la zona noble del palacio, nos encontramos con salones de gran amplitud e iluminación, que ofrecen bonitas vistas al Patio de Armas y al Patio de San Fernando.
En la tercera planta se exhibe la antigua farmacia municipal del siglo XIX y la cámara oscura, curioso artefacto que nos permite una visión privilegiada de lo que está pasando en ese instante en la ciudad.
En la actualidad los salones del palacio se utilizan para actividades, como exposiciones, conferencias, presentaciones de libros y otros eventos, siempre relacionados con el mundo de la cultura.
