Maison-forte édifiée à la fin du XVe siècle, le Château des Millets présente un corps de logis rectangulaire flanqué de tours d'angle en brique. Au siècle suivant, une somptueuse façade Renaissance ornée de sculptures vient enrichir l'édifice. Le XVIIIe siècle marque une nouvelle phase d'expansion avec l'ajout de pavillons en retour à l'est et d'un bâtiment devant la façade ouest. Le domaine s'enrichit alors de communs, d'un jardin à la française et d'un parc à l'anglaise, complétés par un verger et un potager clos de murs.

À l'intérieur, les aménagements des XVIIIe et XIXe siècles — boiseries, parquets et cheminées — sont prolongés au début du XXe siècle. Une bibliothèque d'exception fut créée à la fin des années 1940, avec menuiseries et boiseries en frêne rose ornées de sculptures à thème philatélique. La cuisine accueille deux frises en décalcomanie, dont l'une porte la signature du caricaturiste Benjamin Rabier.