Mentionné dès 1229, le château de Saint-Géry s'organise autour d'une cour centrale en U, flanqué de communs et d'une avant-cour. Son architecture témoigne de plusieurs siècles de transformations successives.

La tour ronde du 14e siècle, armée de mâchicoulis et de meurtrières, demeure l'un des éléments majeurs : sa petite salle d'étage est voûtée en croisée d'ogives. À la même époque, une chapelle ornée de peintures complète l'ensemble. La tour carrée du sud, massive et haute de trois étages, appartient au 15e siècle ; bien que découronnée de ses créneaux, elle a préservé deux gargouilles sculptées.

C'est au 17e siècle que le château féodal se mue en résidence de style Louis XIII. Le 18e siècle apporte des modifications majeures : comblement des douves, édification des communs et agrandissement de la terrasse vers le Tarn. La façade côté cour, construite à cette période, conserve des vestiges du décor classique au-dessus des corniches du premier étage. L'aile est, surplombant le Tarn, renferme aussi des traits architecturaux remarquables.