Le château du Champ s'est construit en trois phases successives. Son élément le plus ancien, le donjon d'angle, remonte à la fin du 15e siècle, peu après que la seigneurie n'apparaisse dans les actes en 1498. Il demeure le seul à conserver des vestiges défensifs : un chemin de ronde court le long de ses murs. Au 16e siècle, on ajouta la tour d'escalier et les bâtiments adjacents qui forment le cœur de la demeure. Des travaux ultérieurs, probablement au 17e siècle, enrichirent le château de petites tourelles de diamètre réduit. Six tours et tourelles couronnent aujourd'hui la masse du bâtiment : quatre marquent ses angles, une autre divise en deux la plus grande façade, tandis que la sixième, logée à l'intérieur, abrite l'escalier. Au 19e siècle, le château subit des transformations : le transfert de l'entrée d'une façade à l'autre entraîna la création d'un vestibule couvert, tandis qu'une chapelle extérieure fut édifiée.