Ancienne seigneurie depuis 1205, le domaine de Mortemart connaît une ascension remarquable : érigé en marquisat au 17e siècle, il devient duché-pairie vers 1650 sous Louis XIV. Le château subit alors le « découronement » ordonné par Richelieu. Après la Révolution, il est mis sous séquestre et vendu en 1791, avant d'être acquis au début du 19e siècle par le duc de Mortemart lui-même.

Le bâtiment s'organise en quadrilatère entouré de douves, dont subsistent encore les traces à l'est et à l'ouest, alimentées autrefois par un étang. L'édifice superpose trois périodes : des structures du 12e et 13e siècles, renforcées par un épais mur méridional vestige du château fort, et des aménagements du 15e siècle. La cave de la tour, d'origine médiévale, conserve sa voûte caractéristique à sept voûtains et sa porte en arc brisé, témoins de l'architecture fortifiée du site.