Edifié à la fin du XIIème siècle lors de la mise en place de la commanderie des Hospitaliers de Saint-Jean de Jérusalem, il fut terminé sous Louis XIV.

Une Tour Carrée fut construite au XVème siècle à la demande du Roi René