A partir du XIe siècle des textes permettent de suivre l'histoire et les péripéties de la puissante famille des BALAZUC dont l'influence s'étendait fort loin car elle était «suzeraine» de nombreux seigneurs en Vivarais, ce qui témoigne de son haut rang jusqu'au XVIIe siècle.

Les seigneurs de Balazuc occupaient le Chastel-Vieilh perché au-dessus de l'Ardèche.

Vers 732, après le coup d'arrêt donné à l'invasion arabe par le chef des Francs Charles Martel à Poitiers, c'est le reflux des Sarrasins vers le sud et la Provence où quelques groupes se maintiennent en divers lieux.
Ainsi, d'après la légende, des gens de l'Emir Yousouf auraient fondé à Balazuc une colonie de pêche et de chasse mais aucune influence due à cette occupation ne peuvent se retrouver dans l'architecture du village, comme certains l'ont cru.

Pour récompenser ses chefs de guerre, Charles Martel leur a attribué divers postes ou avantages. Ainsi les mines d'argent de Largentière et de sa région auraient été données à Wilhelm Hastafracta, Guillaume " lance brisée ", noble général franc, de l'est de la France, qui serait à l'origine de la famille des seigneurs de Balazuc, dont les aînés se prénommait Guillaume pour perpétuer ce souvenir.

Après Charlemagne, aux IXe et Xe siècles, le pouvoir royal s'affaiblit ; les seigneurs en profitent pour s'émanciper et peu à peu la féodalité se mettra en place dans la société française.