Le comte de Toulouse, Guillaume, fonda en 804 une "cella" monastique dans ce lieu isolé et s'y retira jusqu'à sa mort.
Au 1Oè siècle, un culte populaire se développa envers le bienheureux Guilhem (Guillaume en occitant). L'abbaye devint un lieu de pélerinage.
L'abbatiale actuelle fut terminée vers la fin du 11è siècle. L'abbaye compte une centaine de moines à la fin du 12è siècle.