Édifié à partir de 1545 par Jean Imbert d'Ardennes, un riche bourgeois dont la fortune provenait de l'exploitation des mines de cuivre locales, ce château Renaissance fut achevé en 1553. Son plan carré s'organise autour d'une cour intérieure. L'aile nord se distingue par trois galeries superposées précédées d'un portail triomphal à deux baies. Quatre tours rondes cantonnent les angles du bâtiment.

Le décor témoigne du raffinement de la Renaissance : façades ornées de sculptures, ordres architecturaux superposés, deux escaliers remarquables dont l'un à vis et l'autre, monumental, orné de colonnes cannelées aux chapiteaux dorique, ionique et corinthien. Dans la grande salle du rez-de-chaussée, une cheminée impressionnante accueille une hotte sculptée représentant un personnage nu et des cariatides engainées.

En 1846, l'édifice passa aux mains des missionnaires de l'ordre de Picpus, qui l'occupèrent jusqu'à leur expulsion en 1905. Des bâtiments du 19e siècle complètent aujourd'hui l'ensemble.