Alors que la guerre de Cent Ans débute, le château entre dans la famille de Caumont, soutien des Anglais, par le mariage de l’unique héritière Magne de Castelnaud avec Nompar de Caumont. Durant cette longue guerre, le château change de camp de nombreuses fois au gré des alliances et des intérêts particuliers.