Le château de la Vaivre se compose d'une demeure ancienne flanquée d'une tour carrée à l'angle nord-est, bâtie au 14e siècle et remaniée au 17e. Sa façade principale présente une porte rectangulaire encadrée de pilastres toscans et surmontée d'un fronton orné de feuillages. L'intérieur conserve des escaliers en pierre à rampe sur rampe, des plafonds à la française et des cheminées monumentales. Au 19e siècle, le vieux château a été délaissé au profit d'une nouvelle résidence construite à la lisière de la forêt voisine. Cette demeure moderne, composée d'un corps principal entre deux ailes alignées et couvertes de terrasses à balustrade, comprend une chapelle de style flamboyant au chevet à trois pans. Le domaine s'étend aussi avec deux corps de communs distincts.