Le Château du Verger conserve les traces de plus de deux siècles de transformations. Son noyau ancien, datant de la fin du 15e siècle ou du début du 16e, se compose d'un long corps de logis prolongé par une chapelle contemporaine. La façade sud, restée remarquablement fidèle à ses origines, n'a connu que l'agrandissement de ses fenêtres au 17e siècle. C'est également à cette époque que fut édifiée la porte d'entrée principale, inspirée de celle du château de Richelieu, ainsi que les communs et la fuye circulaire. Le 19e siècle a apporté une transformation radicale : la façade nord, de style Tudor, a été pratiquement replaquée sur la structure primitive, marquant le renouvellement du goût architectural au milieu du siècle.