Édifié au 13e siècle par les Malet, ce château a connu plusieurs transformations majeures. La famille Fay de Latour-Maubourg l'agrandit aux 15e et 16e siècles. Au 18e siècle, le domaine s'enrichit d'aménagements de plaisance : glacière, orangerie et parc soigneusement aménagés.

La Révolution marque un tournant : en 1798, les bâtiments sont rasés, à l'exception d'une tour. César de Latour-Maubourg entreprend alors une reconstruction complète sur l'emplacement des anciens communs. Le nouveau château adopte le style Directoire avec quatre ailes symétriques encadrant une cour rectangulaire, complétées par un parc à l'anglaise. En 1875, César de Latour-Maubourg y fait ajouter un mausolée de style néo-roman destiné à accueillir la dépouille de son fils, mort à la guerre.

Vers 1950, son utilisation comme colonie de vacances altère le bâtiment. Néanmoins, l'intérieur conserve sa distribution et son décor d'époque, particulièrement aux étages où subsistent les appartements privés et leurs ornements d'origine.