Ancien manoir féodal aux origines romanes, le château des Ouches s'est construit et transformé au fil des siècles. Ses quatre tours, édifiées aux 14e ou 15e siècles, ont perdu leurs créneaux à l'époque d'Henri II, remplacés par des charpentes neuves. L'aile gauche et la porte centrale datent de cette période, mais ont été profondément remaniées en 1707 par l'architecte Pierre Le Duc, dit Le Toscane : les doubles meneaux ont été ôtés aux fenêtres et des toitures à la Mansart installées. L'aile droite, initialement dotée d'un donjon carré voûté, a été reconfigurée en 1850. Une massive tour, anciennement défensive, servit de fuie à partir du 17e siècle : elle renferme quelque 1735 oculi à pigeons. Le château était protégé par une enceinte fossoyée cantonnée de tours d'angle. Seule subsiste celle du nord, tandis que les murailles restent intactes côté vallée. Les dépendances ont été érigées en 1709-1710 par l'architecte Guy Ogeron, dit « La Bonté ».