Édifié à partir de 1766 par l'architecte Anatole Amoudru, le Château du Fresne naît de la transformation d'un ancien manoir. L'architecte en a conservé les communs tout en réorganisant complètement l'ensemble : l'entrée est déplacée, et la composition nouvelle s'ordonne autour du château, d'où rayonnent allées et parc.

La demeure présente un corps de logis rectangulaire flanqué de plusieurs tours et pavillons. La cour d'honneur, partiellement enherbée, est structurée par deux tours rondes aux angles, deux pavillons carrés d'origine ancienne (17e siècle), et deux corps de bâtiments latéraux : l'un contient la chapelle et les greniers, l'autre le pavillon des bains. Côté parc, des tours rondes épaulént les angles. Au 19e siècle, deux gros pavillons supplémentaires ont été adossés aux façades nord et sud. Une tourelle carrée, un hangar en appentis et une tour-pigeonnier complètent l'ensemble. Les communs bordent la cour, doublés à l'arrière de bâtiments agricoles.