Construit entre 1540 et 1548 par l'architecte Laurent Clary pour Pierre Potier, capitoul de Toulouse, ce château affiche une architecture caractéristique de la Renaissance française. Son plan géométrique épousant une structure de pavillon carré flanqué de quatre tours rondes révèle la maîtrise de son concepteur. Les façades en briques apparentes et la division des fenêtres par meneaux constituent les éléments majeurs de sa décoration originelle, complétée autrefois par des frontons et amortissements de lucarnes aujourd'hui disparus.

La Révolution a profondément endommagé l'édifice : tours, créneaux et toitures ont été abattus, les fossés comblés. Les restaurations du XIXe siècle ont permis de reconstruire les toitures des deux tours nord en 1847. Un incendie en 1945 a détruit l'étage en combles. Malgré ces vicissitudes, l'abondance du décor sculpté témoigne encore de son ancienne splendeur. Le château a notamment servi de demeure à la marquise de Montespan.