Construit à partir de 1654 pour Jérôme de Nouveau, grand maître des postes et relais de France, ce château s'élève sur les ruines d'une forteresse féodale rasée l'année précédente. François Le Vau en dessina les plans. Le corps de logis fut achevé en 1656, suivi de la galerie et, en 1660, des deux pavillons qui encadrent la terrasse d'entrée. Les douves remplacèrent les anciens fossés grâce à l'intervention du maître fontainier Larivière.

Les jardins furent pensés par Gabriel Thévenon, jardinier parisien réputé, tandis que Jérôme Drouard, gendre de Larivière et maître fontainier de Paris, conçut les canaux. Bien que Le Nôtre ait établi les plans des jardins, ceux-ci ne furent jamais exécutés selon son projet. La conduite des travaux passa de Robert Geoffroy, décédé en 1660, à l'entrepreneur René Boissonnet, qui supervisait encore l'édification des basses-cours en 1665.