Édifié du 15e au 16e siècle, le château Lagrézette conserve les traces de son passé prestigieux comme résidence des Lombards et des grands banquiers de Cahors. Son architecture révèle un souci de défense avec deux tours rondes à l'est, tandis que deux tours encadrent l'entrée de la cour d'honneur à l'ouest. La façade principale s'anime d'une tour octogonale aux pans coupés, qui abrite un remarquable escalier à vis donnant accès aux appartements.

À l'intérieur, les fenêtres ouest arborent des décors raffinés. Au premier étage, une cheminée Renaissance déploie une ornementation somptueuse : motifs floraux et géométriques, animaux et médaillons encadrant une végétation en rinceau. Son linteau porte une figure féminine flanquée de deux chevaliers armés, accompagnée de l'inscription « Dame Honeur ». La chapelle octogonale, nichée au rez-de-chaussée de la tour nord-ouest, conserve encore des peintures anciennes. Des interventions du 19e siècle ont modifié le rez-de-chaussée par l'ajout d'une galerie basse.