Orangeriet byggdes 1660, men bygdes om på 1700-talet av arkitekten Nicodemus Tessin d.y. Dagens utseende är från en ombyggnad på 1860-talet.
Man odlade bl. a. pomeranser (en citrusfrukt som liknar apelsin), citroner och apelsiner. Därav namnet. Sedan 1988 är Orangeriet ett skulpturmuseum.
Bakom Orangeriet reser sig en hög kulle och här lät Magnus Gabriel De la Gardie bygga ett tempelliknande
lusthus till sin hustru, Maria Euphosyne. Efter henne kallas backen Mons Mariae, dvs "Mariaberget".