Édifié sur les ruines d'une forteresse rasée en 1570 pendant les guerres de religion, le château de Jean doit son nom à la famille qui l'acquit vers 1559. Jean De Jean, procureur au Sénéchal de Toulouse, en entreprend la reconstruction après 1621 dans un style encore défensif : un corps de logis quadrilatère flanqué de quatre tours d'angle à encorbellement, percées de meurtrières à la base. Des caves voûtées soutiennent l'ensemble.

En 1754, le riche négociant Jean Toulza acquiert le château et le transforme en demeure de plaisance. Il ajoute une terrasse au sud, perçe les façades de fenêtres, édifie deux ailes latérales symétriques et une chapelle. L'intérieur, repris en grande partie au 18e siècle, s'enrichit de remarquables gypseries datées de 1787, notamment dans le « Salon des Arts Libéraux et du Négoce ». La chapelle, prolongement du commun Est, arbore un élégant fronton d'anges musiciens exécuté en plâtre. Jean Toulza s'y fit enterrer, comme l'atteste une plaque commémorative.