Cuando empieza la guerra de los Cien Años, el castillo pasa a formar parte de la familia de Caumont, que apoya a los ingleses, mediante el matrimonio del único heredero Magne de Castelnaud con Nompar de Caumont. Durante esta larga guerra, el castillo cambia de bando numerosas veces según las alianzas e intereses particulares.