Le château d'Outrelaize a connu plusieurs vies successives. Le manoir originel, restauré entre 1584 et 1620, s'est enrichi d'une galerie perpendiculaire reliant le logis à un pavillon d'angle, tandis qu'un pavillon d'entrée voyait le jour. Au XVIIIe siècle, un parc à la française complète l'ensemble et les intérieurs sont modernisés. Entre 1822 et 1827, une transformation majeure intervient : Héracle de Poligny et les paysagistes Chatelain frères redessinent le parc selon les principes de l'art anglais, effaçant le dessein français précédent. En 1894, le logis ancien est repris une dernière fois, achevant ainsi deux siècles de rénovations successives qui ont façonné le château tel qu'on le connaît.