Le château du Verger mêle trois siècles de construction. Son noyau ancien, remontant au début du XVIIe siècle, se reconnaît à l'aile nord : une maison forte aux murs épais, renforcée d'une tourelle d'escalier carrée. Le pigeonnier carré, avec ses 1600 boulins, témoigne de l'importance du domaine agricole. Vers 1770, une nouvelle aile s'ajoute au sud, dotée d'une belle façade régulière sous un comble brisé couvert de tuiles plates. À l'intérieur, l'escalier droit en pierre et les décors originaux — cheminées, peintures, sols — ont été restaurés par les propriétaires actuels. Au-delà du château s'étendent des jardins aménagés depuis 1990 : terrasses successives accessibles par de petits escaliers, bassins et fontaines ornementaux, potager, et sur le coteau, de vastes vergers qui ont donné leur nom au lieu.