Le château de Gramont domine la vallée de l'Arratz, au cœur de la Lomagne, dans le Tarn-et-Garonne, à la limite du Gers. Deux époques s'y font face : la masse défensive du Moyen Âge et la délicatesse d'une aile Renaissance, disposées en équerre.

Les terres appartenaient à Simon IV de Montfort, chef de la croisade contre les Albigeois, qui les donna à l'un de ses lieutenants. La famille de Montaut y élève au XIIIe siècle un château fortifié dont subsiste l'imposante tour qui porte encore le nom de Montfort. Un vaste logis lui est ajouté au XIVe siècle, avec un châtelet d'entrée gothique surmonté de sculptures — l'ensemble caractéristique de ces châteaux gascons qui commandent les collines de la région.

Le tournant vient d'un mariage. Vers 1492, Françoise de Montaut, dernière représentante de sa maison, épouse Guillaume de Voisins. C'est cette famille qui fait élever entre 1535 et 1545 une aile dans le goût italien, placée perpendiculairement à l'ancien corps de logis. Fenêtres à meneaux, décoration sculptée, façades ouvertes sur des jardins en terrasses.

L'intérieur conserve deux escaliers qui résument à eux seuls le passage d'une époque à l'autre : l'un gothique, en vis sans noyau central, menant à un petit oratoire ; l'autre Renaissance, à rampes droites et voûté d'ogives. S'y ajoutent des pavements d'origine, des cheminées monumentales, des plafonds à la française et des tapisseries d'Aubusson du XVIIe siècle.

Monsieur et Madame Dichamp, derniers propriétaires, ont fait don du château meublé à l'État. Les façades, les toitures, le grand salon de réception et l'escalier droit sont classés monuments historiques depuis 1973, le reste inscrit depuis 1947.

Les jardins ont été redessinés dans l'esprit du XVIe siècle. Un séquoia surnommé « l'arbre mammouth » y attire l'attention, et la terrasse ouvre une vue étendue sur les coteaux de Lomagne.