Ancien château des Condé, Vallery conserve les traces de plusieurs siècles d'histoire. Des fortifications imposantes du début du 13e siècle subsistent : tours circulaires et courtines témoignent de son rôle défensif originel. Au 16e siècle, Pierre Lescot conçoit un grand château destiné à rivaliser avec les demeures princières de la Renaissance, mais l'édifice resta inachevé. Partiellement détruit au 18e siècle puis abandonné au 20e, il demeure un vestige fragile de cet ambitieux projet. Le site réunit aussi des bâtiments agricoles du 19e siècle et un jardin ordonnancé. Vallery fut longtemps une place forte du protestantisme, lié aux destinées de la puissante famille de Condé jusqu'en 1747.