Forteresse bénédictine édifiée vers 1190 pour protéger les terres de l'abbaye de Savigny, le château de Sain-Bel devient au 14e siècle la résidence des abbés eux-mêmes, qui entreprennent d'importants travaux de reconstruction. Son plan actuel épouse un quadrilatère irrégulier enclosant une cour, flanqué de deux tours remarquables : la tour de l'Horloge et la tour du Colombier, toutes deux du 15e-16e siècle. Une troisième tour, celle des Empereurs, ornait autrefois le côté sud avant sa démolition au 19e siècle. Le logis abbatial au sud a été partiellement reconstruit vers 1850. La chapelle, bien qu'aménagée aux époques modernes, conserve sa belle porte du 15e siècle et préserve des traces d'un décor peint datant du 17e siècle.