Aan het einde van de Middeleeuwen bouwt de familie van Caumont het kasteel van Milandes, omdat men graag een gerieflijkere woning wil waar het aangenamer vertoeven is. De bouwstijl en de inrichting sluiten beter aan bij de smaak van die tijd. Vanaf dan wordt het kasteel van Castelnaud alleen nog bewoond door soldaten en hun kapitein, die zich in het nieuwe hoofdgebouw aan de oost- en de zuidkant installeren.