Als der Hundertjährige Krieg begann, kam das Schloss durch die Heirat der einzigen Erbin Magne de Castelnaud mit Nompar de Caumont in den Besitz der Familie de Caumont, die die Engländer unterstützte. Während dieses langen Krieges wechselte das Schloss mehrmals die Seiten, je nach Bündnissen und Einzelinteressen.