En origen el patio de San Fernando y el Patio de Armas fueron solo uno, que se vio dividido en el siglo XVIII con la construcción del Palacio de Villavicencio, ya que por aquel entonces, el uso del conjunto pasó a ser meramente residencial.
La presencia de este gran espacio vacío era lógica en un edificio destinado al acuartelamiento de tropas. Durante la Edad Media la guerra se hacía a caballo, de ahí que en los cuarteles hubiese grandes superficies dedicadas a instalar cuadras y almacenes en los que guardar el alimento de los caballos. Estas edificaciones, nada monumentales, estarían fabricadas con madera y en casos excepcionales con mampostería, si bien en ningún caso presentarían excesivas concesiones a la ornamentación. Su misma naturaleza hizo que con el tiempo fueran desapareciendo, dando lugar a estos grandes patios.
Sabemos que en el siglo XVI, primera época en que el conjunto del Alcázar fue abandonado, ya no existía nada construido en esta zona que, por aquel entonces, se utilizaba como tierra de cultivo.