Mentionné au 11e siècle dans une donation à l'abbaye d'Uzerche, le château de Bruzac a connu une histoire mouvementée. Gravement endommagé lors des guerres de Religion, il a été largement reconstruit à la fin du 15e siècle ou au début du 16e. Richelieu l'a ensuite fait démantelé. À la Révolution, il n'était plus qu'une ruine. L'édifice conserve une chapelle gothique implantée en dehors des remparts. Son accès principal, à l'ouest, s'ouvre directement dans une tour flanquant le corps de logis.