Le château de Chargé puise ses racines au 11e siècle, date à laquelle le domaine est confié à l'abbaye de Noyers. C'est au 14e siècle que s'élève le château lui-même, dont le plan subsiste jusqu'à aujourd'hui. L'édifice connaît sa plus profonde transformation au 17e siècle : l'aspect actuel du bâtiment principal date de cette époque, tout comme les communs et le portail. À la même période sont aménagées de nouvelles cheminées, les ouvertures sont remaniées, et un escalier à balustres, logé dans un bâtiment de liaison, relie désormais le donjon à l'aile nord-ouest. Au 18e siècle, cette aile subit un agrandissement et la chapelle est rénovée, dont le mur de l'autel s'enrichit de peintures murales datant des 17e ou 18e siècles.