Édifice rare du XVIe siècle, le château de Gontaud-de-Nogaret organise son plan autour de deux grandes salles desservies par un escalier à vis central. Une petite tour complète l'ensemble, dont la structure se répète sur trois niveaux. Aux derniers étages, deux escaliers à vis aménagés en échauguettes permettent d'accéder aux combles des tours.

Le bâtiment a conservé quelques menuiseries d'époque avec leurs ferrures d'origine et des carrelages en terre cuite. Gravement endommagé au XVIe siècle — il subsista miraculeusement à la destruction totale de la ville ordonnée en 1579 ou 1580 par le maréchal de Biron — le château était déjà signalé en ruine en 1662. Les habitants l'exploitaient alors comme carrière de pierre, comprometant davantage son intégrité.