Édifié entre 1544 et 1550 pour Antoine III de Clermont-Tonnerre, ce château doit beaucoup à l'architecte italien Sebastiano Serlio, qui en dessina les plans. Son architecture et son décor incarnent un moment clé de la Renaissance française.

À la fin du 17e siècle, Louvois fit ajouter au nord les communs du château : deux cours successives flanquées de tours quadrangulaires, confiées à Jules Hardouin-Mansart ou Robert de Cotte. La cour d'honneur fut elle-même réaménagée vers 1761 par François-Michel César, petit-fils du ministre de Louis XIV. Au-delà des écuries s'étendaient les aménagements domestiques du domaine : un pédiluve et deux glacières complétaient cet ensemble fonctionnel.