Le château de Saint-Léger a connu trois grandes transformations au fil des siècles. Initialement édifiée au 15e siècle comme maison forte par le seigneur local, elle s'est enrichie au début du 17e siècle d'une enceinte fortifiée et de tours d'angle — le portail de la cour porte la date de 1612. Un jardin clos complétait alors cet ensemble. Au 19e siècle, un industriel en a fait une maison de maître, restructurant le bâtiment principal dont la porte est datée de 1877. Le château illustre ainsi l'évolution d'une forteresse aristocratique en demeure bourgeoise de prestige.