Édifié au début du XVIe siècle sur un site donné aux moines de Lagrasse au Xe siècle, le château de Bouilhonnac conserve les marques de son évolution défensive. Son enceinte s'appuie en partie sur le roc naturel, renforcée par une imposante tour ronde à l'est, une tour plus modeste au nord-est et une tour carrée à l'ouest près de la chapelle. La tour ronde, qui domine le dispositif défensif, compte trois étages intérieurs desservis autrefois par un escalier à vis, son entrée s'ouvrant à trois mètres de hauteur. Les courtines sont percées d'archères à plusieurs niveaux, tandis que des canonnières à embrasure carrée témoignent d'adaptations ultérieures. La chapelle se distingue par son chevet polygonal orné de fenêtres à remplage trilobé. Les destructions du XXe siècle ont emporté la partie supérieure des remparts et leurs défenses d'origine, marquant durablement l'apparence du château.