Ce château raconte deux histoires superposées. Au cœur du site s'élève un donjon circulaire du 14e siècle, autrefois entouré de douves. À l'époque médiévale, il formait un maillon de la chaîne défensive d'Exmes, protégeant la haute vallée de la Dives par un système de petites places fortes dispersées dans la région. À la Renaissance, sous le règne de Henri IV, les seigneurs ont fait le choix audacieux de transformer cette forteresse austère en demeure aristocratique, bâtissant une nouvelle résidence sur les fondations du vieux donjon. Le site fut à nouveau réaménagé en 1808, quand le propriétaire décida de construire une demeure plus spacieuse à proximité, abandonnant l'ancien édifice. La tradition locale prête au donjon un rôle de refuge historique : il aurait abrité Montgomery en fuite devant la colère de Catherine de Médicis.