Dominant la Loire en un spectaculaire méandre qui a inspiré le nom du village, le château de Lavoûte-Polignac s'élève sur un bloc granitique aux pentes rocheuses et abruptes. Ravagé par un incendie qui détruisit ses vastes bâtiments de cour, puis dépecé après sa vente comme bien national en 1793, le château a été presque entièrement reconstruit au XIXe siècle. Subsistent des éléments anciens : quelques pans de murs médiévaux, une porte du XIVe-XVIIe siècle, des fenêtres anciennes et surtout la chapelle, salle voûtée d'ogives. L'aile sud, seule aile préservée des temps modernes, se dresse perpendiculairement au-dessus du fleuve. Le bâtiment central, fortement restauré, compte deux étages et s'ouvre par une porte d'entrée datée de 1634. Une enceinte délimite la cour et le jardin sur trois côtés.