Ancien prieuré bénédictin fortifié, ce château épouse l'histoire mouvementée de Saint-Arcons du 11e au 16e siècle. Occupé d'abord par la famille de Saint-Arcons, il passe ensuite entre les mains de plusieurs seigneurs avant d'être offert au 14e siècle par les De Peyre à l'abbaye des Chazes, qui le transforme en prieuré. Son architecture en témoigne : un corps de bâtiment rectangulaire flanqué d'une tour semi-circulaire côté Allier, percée d'archères de flanquement, et d'une élégante tour d'escalier en vis du 15e siècle s'ouvrant sur cour. La tour semi-circulaire renferme une voûte d'ogives sexpartite aux vestiges peints remarquables, dont une possible Annonciation du 16e siècle. Bien que partiellement transformé en bâtiments agricoles, ce château reste un témoignage rare d'architecture monastique fortifiée de la fin du Moyen Âge.