Le château de Larroque-Toirac s'accroche à la falaise au-dessus de la vallée du Lot, entre Figeac et Cajarc. La roche l'enserre : certaines salles sont creusées dans le calcaire, et la tour semble sortir de la paroi.

Bâti au XIIe siècle par la famille de Cardaillac, il occupe une position qui commande le passage de la rivière. Il fut de ce fait disputé pendant la guerre de Cent Ans, changeant plusieurs fois de mains entre Français et Anglais.

Les Anglais l'incendient en 1372. La reconstruction du XVe siècle lui donne son visage actuel : le donjon, la tour ronde, les corps de logis étagés à flanc de rocher.

L'intérieur conserve des cheminées gothiques, des plafonds peints et un mobilier ancien. La visite se fait guidée, par le propriétaire.

Le château est classé monument historique. Il s'agit d'un château fort, bâti pour la défense avant de l'être pour l'agrément.