Al final de la Edad Media, la familia Caumont construye el Castillo de Milandes aspirando a una vivienda más cómoda y agradable para vivir. Su arquitectura y su decoración se ajusta más a los gustos de la época. Desde entonces, el castillo de Castelnaud ya solo lo habitan soldados y su capitán, instalados en nuevas viviendas al este y al sur.