Mentionné dès le 12e siècle, le château de Gavaudun a connu une histoire mouvementée. Pris et entièrement rasé par l'évêque de Périgueux qui le soupçonnait de servir de repaire à des brigands, il fut rapidement reconstruit. À partir de 1793, il sombre progressivement en ruine.

Aujourd'hui, seul le donjon subsiste, impressionnant témoignage de cette forteresse. Cette tour de six étages révèle deux phases de construction : le rez-de-chaussée et le premier étage, accessibles par un escalier taillé dans la maçonnerie, affichent la maçonnerie du 12e siècle, tandis que les étages supérieurs, plus soignés, remontent au 14e siècle. Le premier étage formait une galerie de défense semi-circulaire, percée uniquement d'archères. Le cinquième étage était couronné de créneaux.

L'accès au château se fait par une grotte située derrière l'actuelle mairie, ancien bâtiment du 15e siècle. Un escalier en colimaçon y mène à la cour. Les courtines conservées révèlent une construction étonnamment légère pour des fortifications, ne dépassant pas 80 centimètres d'épaisseur.