Édifié à la fin du Moyen Âge, le château de Castagnac présente une architecture défensive caractéristique des petites seigneuries rurales du 16e siècle. Son noyau originel, une tour-résidence de plan quadrangulaire, est flanqué de quatre tours rondes aux angles. Le bâtiment a connu deux importantes campagnes de réaménagement : une première vers 1500, puis d'autres aux 18e et 19e siècles, qui en ont modifié progressivement l'aspect.