Édifié vers 1480 par Vincent Bilhonis, vicaire général de l'évêché d'Agen, ce château perché sur une colline incarne le passage du Moyen Âge à la Renaissance. L'édifice s'organise autour d'une cour fermée, regroupant plusieurs bâtiments. À l'intérieur du corps de logis subsistent des salles voûtées témoignant du savoir-faire de ses constructeurs.

Son histoire fut mouvementée. Légué aux Annonciades pour accueillir un noviciat, le château fut occupé par les Huguenots lors des guerres de Religion. En 1580, le maréchal de Biron l'assiégea, le prit d'assaut et le livra aux flammes, non sans massacre de la garnison. À la Révolution française, il subit à nouveau des dégâts : les symboles de l'Ancien Régime qui l'ornaient furent détruits.