El Retiro tiene su origen en un regalo que el Conde Duque de Olivares hizo al Rey Felipe IV en 1630, eran unos terrenos próximos al Monasterio de San Jerónimo El Real, lugar donde estaba el Cuarto Real, al que los Reyes se retiraban a guardar luto o a preparar las grandes solemnidades, de ahí recibe su nombre: "El Retiro". En 1868, los jardines pasaron a propiedad municipal y se abrieron al público.