Le Manoir des Cailleaux porte témoignage de plusieurs siècles de construction. Bien que le fief soit attesté dès 1370, les bâtiments actuels ne remontent qu'à la fin du 15e siècle. Deux principales phases de travaux se discernent clairement : la première a donné naissance à la façade sud, à la tourelle d'escalier et aux trois premières travées de la façade nord ; la seconde a ajouté la chapelle et son pavillon attenant. L'édifice suit la tradition des manoirs sur plan barlong avec escalier hors œuvre et parement de briques, mais se distingue par son imposante dimension et surtout par le rejet de l'escalier en arrière du bâtiment. Dépourvu de décor sculpté, le manoir a connu des modifications au 18e et 19e siècles, notamment le percement du pignon ouest et des dernières travées orientales.