Édifié au XVe siècle sur les vestiges d'une forteresse antérieure, le Chillou entra en 1506 dans la famille du Plessis – celle qui donna au royaume le cardinal de Richelieu. Le ministre de Louis XIII en fit l'une des terres maîtresses de son duché, créé en 1631. Les descendants de Richelieu le conservèrent jusqu'en 1805.

Le château s'organise autour d'une cour intérieure rectangulaire, protégée par des douves et enclos de quatre corps de bâtiments. La porte fortifiée du sud, de plan carré, s'affirme par deux tourelles cylindriques couronnées de mâchicoulis. À l'est, une tour d'escalier relie cette entrée à la puissante tour d'angle sud-est. Le logis oriental accueillait une chapelle dans son aile nord. À chaque angle se dressaient des tours – celle du nord-ouest servit de pigeonnier. Sous la cour s'étend un réseau de galeries souterraines dont on ignore l'étendue exacte.