Édifié à partir de 1500 par Jean de Cardaillac, abbé de Belleperche, le château de Larrazet a conservé les marques de la Renaissance précoce malgré les transformations des siècles suivants. Son plan rectangulaire, renforcé d'une aile en retour, s'organise sur quatre niveaux.

L'édifice doit son prestige à un escalier monumental à quatre volées droites, tournant autour d'un noyau central creux et voûté d'ogives. Ce chef-d'œuvre architectural figure parmi les premières manifestations régionales de l'escalier à l'italienne. Les salles se distinguent par leurs plafonds à la française et leurs cheminées aux larges bandeaux moulurés. Au premier niveau, d'imposantes caves voûtées en plein cintre côtoient une petite salle voûtée d'ogives, où briques et pierre reposent sur des culots ornés de motifs végétaux ou de figures humaines.

Le château accueillit les moines de l'abbaye de Belleperche après le saccage de leur monastère par les Huguenots en 1572. Les remaniements successifs ont supprimé le couronnement de mâchicoulis et les tours d'origine, tandis que la Révolution emportait son étage supérieur.