Édifié sur un terre-plein entouré de douves, le château de la Faye plonge ses racines au 13e siècle, lorsqu'il était le siège d'une puissante seigneurie. Deux corps de logis en angle droit composent le château : l'aile nord-sud conserve une structure franchement médiévale du 15e siècle, avec ses pignons caractéristiques et ses fenêtres à meneaux, abritant anciennement cuisines, granges et greniers. L'aile est-ouest, dotée d'une toiture à pans brisés et flanquée d'une tour carrée, renferme les appartements. Louis Gabriel y entreprit des transformations substantielles pour adapter le logis médiéval à un plus grand confort. Après le départ de la famille à la Révolution, le 19e siècle apporta des modifications : destruction de la chapelle, ajout de meneaux aux fenêtres, aménagement des intérieurs. Le château s'accède par une allée de marronniers, bordée de bâtiments de communs et d'une ferme. Un pont enjambe le fossé au nord. Les douves, autrefois alimentées par trois étangs, font partie du charme intemporel du site.