Le château échappe de peu à la destruction le 16 août 1944, jour où la 2ème division SS Das Reich investit la ville en représailles au meurtre, par des maquisards, de deux soldats allemands en lisière de la forêt entourant le château.
Le duc de Talleyrand, se prévalant de son titre allemand de duc de Sagan et surtout Gérard Van der Kemp, futur conservateur en chef de Versailles, parlementent avec les allemands afin qu'ils épargnent le château et son contenu artistique irremplaçable, ce à quoi ils parviennent.