Le plus ancien site d'habitat néolithique actuellement connu en Limousin. L'éperon est également occupé à l'âge du bronze et du fer, ainsi qu'à l'époque gallo-romaine. Le château est attesté pour la première fois dans une charte des années 1200-1210. La fortification date des 13e-15e siècles, construite par les Comtes de la Marche. Une campagne de travaux a lieu vers le milieu du 15e siècle. Lorsque Richelieu fait démantelé le château, ce dernier menace déjà ruine. En 1830, George Sand découvre le site dont le prestige attire de nombreux peintres, créant l'Ecole de Crozant. Quatre tours ont subsisté, n'ayant pas servi de carrière de pierre : la tour du Renard qui a gardé son escalier ; la tour Collin avec une échauguette ou latrine ; la tour écorchée ; la tour carrée ou donjon. Le donjon aurait été élevé au 12e siècle et les tours au 13e. Le reste du château n'est que vestiges.