Édifié en 1150, le château de Rochefort a connu plusieurs vies. Au 15e siècle, on talute ses tours et refait sa façade ouest. C'est au 17e siècle qu'intervient une restauration majeure en 1632, puis le Vicomte de Ligondès le transforme aux 18e et 19e siècles : surélévation de la courtine ouest et crénelage de style gothique pour rehausser l'allure médiévale.

L'accès se fait par l'ancienne basse-cour, bordée au nord par les communs et à l'est par un mur haut. On y voit les vestiges d'une chapelle du 15e siècle ainsi que deux tours d'angle. La cour s'étrangle ensuite pour former la cour d'honneur, encadrée à l'ouest et au sud par les bâtiments de réception : salon, salle à manger, galerie et grand salon, richement décorés. On y admire une cheminée Louis XIII, des tapisseries d'Aubusson et des peintures du 17e siècle.

Quatre tours flanquent l'ensemble du château. Au sud, une terrasse élancée sur les fondations du 12e siècle domine les rives de la Sioule, offrant une vue remarquable sur la vallée.