Ce n’est qu’au XIe siècle que fut implanté sur l’éperon rocheux le castrum de "La Garde". Ce nom souligne les fonctions de défense et de surveillance de la vallée du Rhône et de l’entrée du Val des Nymphes.

Une première enceinte (fin XIe siècle) protège les édifices vitaux : les éléments du château seigneurial, l’église Saint-Michel et quelques habitations. 

Aux XIIe-XIIIe siècles, les populations paysannes du Val des Nymphes attirées par le renforcement du pouvoir seigneurial de la famille des Adhémar, s’installent autour de la première enceinte du castrum de "La Garde", ce qui nécessite la construction d’une seconde enceinte.