Debido a la debilidad de la monarquía, muy mermada a causa de las cesiones de poder que hubo de hacer la entronización de la rama bastarda de los Trastámara en la persona de Enrique II, a mediados del siglo XV la nobleza castellana se debatía en cruentas luchas de bandos. Esto tuvo su reflejo en la baja Andalucía, dominada por dos grandes casas señoriales: los Ponce de León, marqueses de Cádiz, y los Guzmán, duques de Medina Sidonia.
Jerez siempre fue ciudad real, pero la nobleza local también se alineó con una de estas dos grandes casas, así que el clima era de tensión generalizada y consta documentalmente que hubo verdaderas batallas campales en las calles de la ciudad.
En 1471 don Rodrigo Ponce de León, marques de Cádiz, en el marco de estas luchas que mantenía con el duque de Medina Sidonia, tomó por la fuerza Jerez y se hizo fuerte en el Alcázar. Entre esta fecha y 1478, en que fue desalojado del edificio por los Reyes Católicos, hizo una serie de reformas destinadas, por un lado, a hacer más habitable el recinto y, por otro, a mejorar el sistema defensivo, especialmente de cara a la población local, dado el modo en que se había hecho con el poder.
Fray Esteban Rallón en el siglo XVII describe muy bien en estas obras:
“En el ángulo entre Oriente y el mediodía está el Alcázar palacio de sus antiguos reyes, fabricado dentro de los muros de la ciudad, cuadrada y cercada de una famosa muralla, que quedo maltratada con un foso que le hizo el marqués de Cádiz, don Rodrigo Ponce de León, cuando gobernaba esta ciudad en tiempo de Enrique IV. El agua que echó en él ofendió los cimientos por algunas partes, tanto que se les han demolido las paredes principales y no han quedado más que los terraplenes tan fuertes que sirven hoy de murallas.
Tenía este caballero poca satisfacción de los xerezanos por haber entrado con violencia en su gobierno y para su seguridad circundó el Alcázar de una cava que hoy dura y labró una torre donde hoy se conserva el escudo de sus armas independiente del Alcázar, tan grande como un palacio con todos sus repartimientos, de modo que cabía en ella una familia tan copiosa como la suya con sus salas y divisiones y en las bóvedas bajas, atahonas, hornos y cocina. Y con una puente levadiza donde se comunicaba con el Alcázar cuya habitación era conforme a la grandeza de sus Reyes con muchas salas, jardines, huertas y baños.”
Poco queda de la grandeza descrita por Rallón. Es posible comprobar que la torre que construyó don Rodrigo es una sencilla fábrica de tapias adosada a la primitiva torre almohade. Al interior se disponen cuatro niveles totalmente austeros, deornamentados, lo que hace pensar que en esta construcción primó el carácter defensivo frente al residencial.
