Édifié au 15e siècle par une famille d'origine écossaise, le château de Tracy a connu plusieurs campagnes de transformation aux 16e, 17e et 19e siècles. Le plan initial, un grand carré organisé autour d'une cour intérieure, n'a que partiellement survécu aux siècles. Subsistent une poterne de 1567 ornée de décors Renaissance et un donjon flanqué d'une tour ; les courtines ont disparu. L'aile nord-est conserve sa charpente à chevrons et ferme du 17e siècle. Au 19e siècle, l'intérieur a été largement remanié, modifiant profondément l'aspect des espaces intérieurs.