Niché au nord-est du bourg de Chamilly, ce château est issu de l'évolution d'une ancienne maison forte entourée de fossés. Son histoire commence en 1543 quand Jacques-Nicolas Bouton, écuyer et docteur en droit, épouse Claudine de Moroges et fonde ainsi la branche Bouton de Chamilly. Cette famille, originaire de Brabant et au service des ducs de Bourgogne, donne naissance à des figures marquantes : Nicolas, défenseur de Stenay, et surtout Noël Bouton, le célèbre maréchal de Chamilly qui défend Grave.

Le château actuel, probablement construit par Nicolas Bouton au 17e siècle, conserve de son passé médiéval une tour en fer à cheval, vestige possible d'une ancienne tour maîtresse couverte de tuiles plates. Cette tour flanque à l'ouest la porterie et le corps de logis classique du 17e siècle. Celui-ci affiche une composition ordonnée avec ses murs scandés de bossages harpés encadrant les fenêtres et chaînes d'angle, témoignage du raffinement architectural de l'époque.