Bâti sur un site antérieurement occupé (un pont et les vestiges d’une tour en témoignent), le château de l’Herm est construit au début du XVIe siècle par Jean de Calvimont, magistrat ayant accédé à la noblesse de robe, et achevé par son fils qui fut ambassadeur de François Ier auprès de Charles Quint. A partir du XVIIe siècle, dans un contexte de contentieux autour de sa possession, il devient la propriété des Hautefort. Cependant, à cette période et durant le XVIIIe siècle, il cesse d’être habité par ses propriétaires et abrite désormais des fermiers et des espaces de stockage. Les Hautefort le vendent en 1805 et le château, passant de main en main, est démantelé à cette époque (il est décrit en ruine en 1830). Il accède à une certaine notoriété quand le romancier Eugène Le Roy en fait le théâtre de son livre "Jacquou le Croquant". En 1927, une inscription au titre des Monument historiques permet d’empêcher le retrait de ses cheminées. A partir des années 1960, ses différents propriétaires (parmi lesquels un couple d’archéologues) entament des campagnes d’entretien, de restauration et d’études.

Le château de l'Herm se situe sur la commune française de Rouffignac-Saint-Cernin-de-Reilhac, dans le département de la Dordogne.