À la fin du Moyen Âge, le Château des Milandes est bâti par la famille Caumont qui aspire à une demeure confortable, plus agréable à vivre. Son architecture et ses décors sont plus conformes aux goûts de l’époque. Dès lors, le château de Castelnaud n’est plus habité que par des soldats et leur capitaine, installés dans de nouveaux corps de logis à l’Est et au Sud.