Édifié à la fin du 15e siècle par Jean Lallemand, fils du receveur général de Normandie, ce château a connu une transformation majeure en 1645 lorsqu'Étienne de Chabenat, trésorier général de France à Grenoble, l'acquiert et le convertit en maison d'agrément. Les couvertures sont alors refaites en 1646. Le bâtiment conserve les traces de son passé fortifié : un corps de logis à un étage et mansardes flanqué de deux ailes, probablement vestiges d'une ancienne enceinte carrée. La façade ouest frappe par ses tourelles aux angles, percées d'embrasures rondes pour couleuvrines. La cour intérieure était jadis fermée par un pavillon d'entrée doté d'un pont-levis et d'une chambre de guet, disparu au début du 19e siècle. Le château aurait servi de résidence aux seigneurs de Savigny.