La construction du château a débuté au xiiie siècle. Radulphe de Saint-Clar reconstruit le château en 1450. Au xvie siècle, Raymond de Saint-Clar rachète le château et repousse les protestants. C'est lui qui reprend Sarlat aux huguenots sous le nom de Capitaine de Puymartin. Le château est abandonné au xviiie siècle.
Au xixe siècle, le marquis Marc de Carbonnier de Marzac restaure le château dans un style néogothique.
Le château est inscrit au titre des monuments historiques. L'une de ses chambres du xviie siècle, lambrissée et peinte, est classée monument historique.

Une légende dit qu'une châtelaine du xvie siècle, Thérèse de Saint-Clar, aurait été surprise avec son amant par le retour de guerre inopiné de son mari. En punition de sa faute, elle fut condamnée à rester prisonnière durant 15 ans dans une petite pièce de la tour nord. À sa mort, elle y fut emmurée. On pourrait la voir parfois errer la nuit, sous la forme d'une dame blanche, sur le chemin de ronde du château, avant de pénétrer dans cette chambre.