Ancienne maison-tour féodale des Duhart, ce château a connu deux grandes transformations. Au début du 16e siècle, la demeure a été remaniée, comme l'atteste la date de 1518 gravée sur une porte. Un siècle et demi plus tard, en 1699, elle s'est enrichie d'un niveau supplémentaire et d'une nouvelle aile. Les 18e et 19e siècles ont profondément modifié son intérieur. En 1833, le château a changé de mains en passant à Henri Berdoly, ami du peintre Odilon Redon qui y a séjourné à plusieurs reprises.