Ancienne baronnie de l'évêché de Toulouse, Gaudiès conserve les traces d'un château médiéval longtemps disputé. Aux guerres de Religion, ses murs ont subi les assauts répétés des troupes huguenotes : la tour ronde notamment en porte les cicatrices. Le château s'organisait autrefois en quadrilatère, avec quatre tours aux angles – dont la tour des Prêtres au sud-ouest – et deux grandes ailes aujourd'hui disparues. En 1620, des fenêtres à meneaux et une porte ornée de pointes de diamant taillées ont modernisé l'édifice. Une dernière intervention en 1740 reprit la maçonnerie de la vieille tour ronde pour agrandir le corps de logis. Au-delà du pont-levis s'étendaient trois colombiers, dont un porté par neuf piliers. Entre le château et la rivière se déployait un jardin à la française.