Demeure seigneuriale du XVIIe siècle, le château des Tours-Portabéraud a été transformé au siècle suivant par l'architecte Legay, devenant l'une de ces élégantes folies que les notables riomois aimaient à faire construire. À la fin du XVIIIe siècle, il s'entoure d'un jardin composé probablement par le célèbre architecte Attiret. La chapelle conserve un décor remarquable : panneaux de gypserie et peintures naïves témoignant de l'art local. Les constructions du jardin—portail et escalier—s'ornent de ferronneries très typiques de l'art auvergnat du XVIIIe siècle. Le parc renferme des statues en terre cuite du même siècle, d'une grande rareté. Quelques modifications marqueront les siècles suivants : toit refait à la Mansart vers 1840, petit bâtiment accolé au nord vers 1910, plafond de la chapelle restauré vers 1930.