Ancienne Tour des Gaubert du 14e siècle, le château de la Pèze s'est enrichi en 1480 d'une maison forte édifiée par Raymond de la Pèze. Acquis par la famille de Pomairols au 16e siècle, il a accueilli le poète Charles de Pomairols (1835-1916). L'édifice illustre la disposition classique des repaires rouergats : un donjon auquel s'adjoint un corps de logis. La tour originelle, autrefois citerne, est devenue bureau au 19e siècle et communique avec l'étage par un escalier aménagé dans l'épaisseur de ses murs. Ses caves voûtées ont été transformées en salon et salle-à-manger. Une construction de 1845 vient combler l'espace entre tour et logis, tandis que les 18e et 19e siècles ont apporté d'autres remaniements au corps de bâtiment.