Dominant Saint-Chef depuis son promontoire au nord, le château a connu une histoire mouvementée. Le site original, protégé par des fortifications, a été détruit en 1576 lors des guerres de religion. Reconstruit à la fin du 16e siècle, le château présente un plan caractéristique en U autour d'une cour fermée au sud par un mur percé d'un portail. Sa structure repose sur une aile principale en L, deux niveaux d'élévation et trois tours d'angle aux extrémités nord et sud, complétée par une chapelle formant l'aile sud-est.

Les transformations du 19e siècle lui ont donné son aspect actuel : création entre 1830 et 1840 d'une grande terrasse en hémicycle et de cheminements paysagers ; achèvement de son aménagement intérieur dans les années 1860-1870. Subsiste du 16e siècle une imposante cheminée monumentale. Le parc, aménagé au 19e siècle, se distingue par ses fabriques de remarquable facture.