Construit du 12e au 16e siècle, le château de la Roche a d'abord été une simple tour fortifiée chargée de surveiller un passage stratégique et de défendre la butte voisine de Montpensier. Son trait remarquable : une tour ovale conservée à l'extrémité nord, exemple presque unique en France de donjon à plan oval, résultat d'une tentative architecturale datant de la fin du 12e et du début du 13e siècle. Le donjon rectangulaire des 13e et 14e siècles complète ce noyau ancien. Érigé en fief au 15e siècle, le château s'est alors transformé en demeure d'habitation. Les bâtiments s'ordonnent autour d'une cour, protégés par une enceinte doublée d'une autre fortification défendant la basse-cour. Deux tours rondes crénelées et dotées de mâchicoulis subsistent, ainsi qu'un fossé qui renforçait la défense. Michel de L'Hospital, chancelier de France pendant les guerres de Religion, y naquit. L'intérieur a été remanié au 19e siècle.