Le château de la Sauzaie a connu plusieurs vies. Des châteaux antérieurs s'y élevaient dès la fin du 15e siècle (vers 1483) et au 16e siècle, quand le cardinal de Richelieu lui-même y séjourna en 1628. Le bâtiment que l'on voit aujourd'hui a été reconstruit vers 1767-1768, orné d'une décoration sculptée de style rocaille. Au 19e siècle, après un incendie qui ravagea une partie du logis (1833 ou 1834), le château a été remanié. Entre 1845 et 1870, les abords ont été réaménagés : allées du parc, cour d'honneur et bâtiments de communs ont été entièrement reorganisés.