Chantilly fut d'abord une ancienne forteresse médiévale cantonnée de sept tours et entourée de douves en eau, construite sur un terrain marécageux de la vallée de la Nonette, qui contrôlait la route de Paris à Senlis. Le château appartenait primitivement à Guy de Senlis, « bouteiller » du roi Louis VI à la fin du xie siècle. La famille ajouta à son patronyme le nom de cette fonction (Bouteiller de Senlis), et conserva le château jusqu'au xive siècle. Pillée en 1358 par les Jacques, la forteresse est vendue en 1386 par Guy de Laval, héritier des Bouteiller, à Pierre d'Orgemont, ancien chancelier de Charles V. Celui-ci commence la reconstruction du château en 1386 qui sera achevée en 1394, après sa mort, par son fils Amaury; cette famille le posséda pendant trois générations du xive au xve siècle.
En 1484, Pierre III d'Orgemont, sans enfant, lègue Chantilly à son neveu Guillaume de Montmorency (†1531).