Mentionnée pour la première fois en 1385, la maison forte de Chariez se présente comme une plate-forme de plan carré, défendue par d'épaisses courtines en pierre. Ses murs sont percés d'archères-canonnières, caractéristiques des ouvrages de défense du Moyen Âge. Des bâtiments s'adossent à sa courtine sud-est, non loin d'une source naturelle qui autrefois alimentait les fossés et actionnait un lavoir. Le site a connu d'importants aménagements au 18e siècle, transformant graduellement cet édifice médiéval aux besoins d'une époque nouvelle.