Le château de l'Arthaudière offre un remarquable palimpseste architectural. Ses origines remontent au 13e siècle avec une tour ronde, complétée au début du 14e par une tour rectangulaire. L'aile ouest date du début du 16e siècle. L'édifice a connu des épreuves : incendié en 1580 par les Huguenots, il fut restauré vers 1590 sous l'impulsion d'André II de La Porte, notamment au premier étage de l'aile nord. Le 17e siècle apporta des remaniements majeurs — l'escalier monumental et la réorganisation de l'aile est datent de 1680. En 1726, de nouvelles transformations l'ont modifié. À la fin du 19e siècle, la tour ronde fut surélevée d'un volume polygonal en briques et la façade orientale reçut un soubassement de calcaire blanc. Un incendie détruisit l'aile est dans les années 1950, marquant le dernier grand sinistre de ce château marqué par une histoire mouvementée.