Edifié au XVI ème siècle, le castel appartenait à la famille de Vassinhac, seigneur de la ville et capitaine gouverneur de la vicomte de Turenne.
Coiffé d'imposantes tours et de tourelles à poivrières, percé de fenêtres à meneaux, le castel de Vassinhac est caractéristique de l'architecture de la fin du 16 ème s.