Le château de Baneuil rassemble plusieurs couches d'histoire. Son élément le plus ancien, le gros donjon, remonte au 11e siècle : on y accédait par une échelle menant à une poterne aérienne, puis il fallait traverser une salle obscure avant de gravir d'étroits oculus et des échelles pour atteindre les étages. Au 15e siècle, la famille de Calvimont fit édifier le corps de logis principal, accompagné d'une tour ronde. Une tourelle en encorbellement compléta l'ensemble au 16e siècle. Le site, mentionné au 13e siècle comme propriété de la famille d'Abzac, témoigne ainsi de cinq siècles d'occupation aristocratique.