Édifié au 13e siècle puis agrandi au cours du 14e siècle, le château de Madaillan occupe un promontoire dont il épouse les irrégularités. Son organisation défensive est révélatrice : un fossé protège le côté est, tandis qu'à l'ouest s'étend une terrasse aménagée en batterie. Au cœur du site se dresse un massif rectangulaire, autrefois dominé par une tour d'habitation multietages. Un donjon de plan quasi carré, soutenu par une colonne centrale, a été ultérieurement ajouté au dispositif initial. Les vestiges témoignent surtout du célèbre siège de 1575, mené par le maréchal de Montluc et les milices d'Agen : ce fut le dernier et le plus destructeur que connut la forteresse. Partiellement démantelée à une époque restée indéterminée, elle demeure un témoignage remarquable des enjeux militaires régionaux.