Le château est mentionné au 12e siècle. Il fut pris par l'évêque de Périgueux et entièrement rasé car devenu repaire de brigands. Il fut reconstruit assez rapidement. A partir de 1793, il tomba en ruine. Seul le donjon subsiste aujourd'hui. Les courtines subsistantes sont assez minces pour des fortifications (50 à 80 cm d'épaisseur). L'entrée du château se trouve dans une grotte située derrière l'actuelle mairie, ancienne dépendance du château bâtie au 15e siècle. Un escalier en colimaçon permet d'accéder au sol de la cour. Ce donjon avait six étages. Le premier étage, accessible par un escalier taillé dans la maçonnerie de la tour, est une sorte de galerie de défense semi-circulaire, prenant jour seulement par des archères. Le cinquième étage comportait des créneaux. Le donjon était couvert par un toit porté par une charpente. A l'extérieur, l'appareil du rez-de-chaussée et du premier étage accuse le 12e siècle. Les étages supérieurs, plus soignés, datent du 14e siècle.

Le château de Gavaudun est un ancien château fort, de nos jours ruiné, dont les vestiges se dressent sur la commune française de Gavaudun dans le département de Lot-et-Garonne, en région Nouvelle-Aquitaine.