Édifié au 15e siècle pour la famille de Boucard, le château de l'Hospital-du-Fresne déploie une architecture de brique caractéristique de cette époque : un corps de bâtiment principal flanqué de deux tours demi-circulaires aux angles, prolongé en équerre par un donjon carré qui surveillait la courtine ouest. L'accès au château se faisait par cette courtine.

Au 17e siècle, après 1619, Claude de Faucon entreprit d'importants agrandissements. Le bâtiment sud fut transformé en logements avec des façades redessinées au goût du temps, tandis que deux nouveaux pavillons s'élevaient au nord. Le pavillon nord-ouest fut alors relié à la tour sud-est par une galerie. Certains éléments ont été remaniés au 19e siècle.