Forteresse du 12e siècle édifiée lors des guerres de Cent ans, le château de Saint-Chartier présente une structure caractéristique : une masse centrale flanquée de quatre tours d'angle. Les courtines nord et est subsistent, se retournant en équerre et cantonnées de tours dont deux conservent les consoles de leur ancien chemin de ronde.

L'édifice révèle les traces de plusieurs campagnes de travaux. Du 13e siècle date la galerie dite « Jeu de Paume », remarquable par sa colonnade ornant la façade orientale. Au 15e siècle, communs et remparts ont été remaniés. Le 19e siècle a profondément transformé l'ensemble : la tour nord a disparu, une terrasse a été aménagée côté sud, et l'ensemble des murs a été percé de fenêtres nouvelles.

Ce château inspira à George Sand son roman « Les Maîtres sonneurs », ce qui en fait bien plus qu'une simple forteresse : un lieu qui a marqué l'imaginaire littéraire du XIXe siècle.