Édifié au début du XVIe siècle par Jean de Calvimont, magistrat anobli, et achevé par son fils ambassadeur de François Ier, le château de l'Herm présente un plan simple : un corps de logis rectangulaire flanqué de deux tours d'angle massives, complété d'une tour polygonale d'escalier. Construit sur un site bien plus ancien, il conserve les traces d'occupations antérieures. Longtemps habité après la vente aux Hautefort, le château fut progressivement abandonné par ses propriétaires aux XVIIe et XVIIIe siècles avant d'être démantelé au XIXe. Le romancier Eugène Le Roy en fit le cadre de « Jacquou le Croquant ». Bien qu'il ait perdu toiture et charpente, le château séduira le visiteur par la finesse de ses nombreuses cheminées et par son remarquable escalier en vis coiffé d'une voûte en palmier. Chaque étage distribuait deux grandes salles et des chambres dans les tours. Une salle dite du trésor occupait le sommet de la tour-escalier.