Im späten Mittelalter wurde das Château des Milandes von der Familie Caumont erbaut, die sich ein komfortables Haus wünschte, in dem es sich besser leben ließ. Die Architektur und die Dekorationen entsprachen eher dem Geschmack der damaligen Zeit. Seitdem wurde das Schloss Castelnaud nur noch von Soldaten und ihrem Hauptmann bewohnt, die in neuen Gebäuden im Osten und Süden untergebracht wurden.