Geoffroy de Vivans, der im Dorf am Fuße des Schlosses geboren wurde und zum hugenottischen Hauptmann aufgestiegen war, verteidigte die Festung im Auftrag der Caumonts, die dem protestantischen Glauben anhingen. Angesichts Geoffroy, genannt „der Kämpfer“, der im ganzen Périgord gefürchtet war, und der neuen Befestigungsanlagen (Bastion und Artillerieturm), die die Verteidigung des Schlosses verstärkten, versuchte niemand, Castelnaud während der Religionskriege einzunehmen, obwohl diese im Périgord besonders intensiv waren.