L'origine de Penne remonte au début de l'humanité, lorsque des groupes de personnes se sont installés dans les gorges calcaires de l'Aveyron. Du château bâti au XIII°, il ne reste que des ruines qui surplombent le village aux vieilles ruelles pavées, bordées de maisons de pierre.
Les ruines du château domine une boucle de l'Aveyron à 120 métres de hauteur.
