Juché sur un éperon rocheux dominant la ville et la vallée du Gueuzon, ce château épouse un plan pentagonal allongé dont quatre côtés subsistent. Édifié initialement par les seigneurs de Rochefort au 12e siècle, il passa aux mains de la puissante famille des Rieux à partir de 1374. Gravement endommagé par l'ordre de Charles VIII en 1488, le château fut reconstruit vers 1490 par Jean IV de Rieux, qui fit édifier le châtelet et la tour sud. Les guerres de la Ligue l'ont brûlé, et la fin du 18e siècle l'a laissé ruiné. En 1907, le peintre américain Alfred Klots l'acquit et transforma les anciens communs en manoir néo-gothique, recyclant des matériaux de remploi. Le Département en est devenu propriétaire en 1978.