Geoffroy de Vivans, né dans le village au pied du château et devenu capitaine huguenot, défend la place forte pour le compte des Caumont, adeptes de la religion protestante. Face à Geoffroy dit « le batailleur », craint dans tout le Périgord, et aux nouvelles fortifications (bastion et tour d’artillerie) venues renforcer les défenses du château, personne ne tente de prendre Castelnaud durant les guerres de Religion pourtant particulièrement intenses en Périgord.