Le château de Gramont s'organise en équerre autour de constructions qui s'échelonnent du 13e au 17e siècle. Au nord, le château primitif du 13e siècle forme un corps quadrangulaire renforcé par la Tour Simon de Montfort, une tour carrée qui fut découronnée et réduite de trois mètres au 19e siècle. L'aile Renaissance, ajoutée au sud, suit un plan classique avec un pavillon central encadré de deux pavillons latéraux ; ses façades en appareil gothique proviennent d'une forteresse du 14e siècle qui occupait jadis l'éperon rocheux. Des écuries du 17e siècle et un portail à bossages complètent l'ensemble. Le château reste attaché à la mémoire d'Arnaud Guilhem de Barbazau, le « chevalier sans reproche », qui défia six guerriers anglais en combat singulier sous les murs du château de Montendre et reçut l'honneur de porter les armes pleines de France. Mort de ses blessures en 1432, il fut inhumé à Saint-Denis avec les honneurs royaux.