Ancienne maison-forte du 12e siècle, le château du Fayet doit sa renommée historique à la naissance de Charles de Valois en 1573, fils de Charles IX et de Marie Touchet. Tombé en ruine vers 1840, il est restauré à partir de 1894 par Gustave Rivet, homme politique et écrivain. L'édifice se compose d'un corps de bâtiment rectangulaire flanqué de deux tours et de deux ailes en plan en U. À l'intérieur, les pièces témoignent de différentes périodes : le premier niveau conserve des plafonds à la française, la chambre historique accueille une cheminée droite du 17e siècle, tandis que le grand salon est orné de boiseries de la fin du 18e siècle. La chambre Louis XVI présente quant à elle des boiseries et une cheminée en noyer du milieu du 18e siècle.