Dominant la terrasse d'Aubusson, les ruines du donjon du 11e siècle marquent les origines lointaines de la cité. Édifié par les vicomtes d'Aubusson aux alentours du 10e ou 11e siècle sur les vestiges d'un castellum romain, ce donjon fut le cœur d'une forteresse dont le plan s'amplifia trois cents ans plus tard. Entre 1470 et 1475, Jacques d'Armagnac, comte de la Marche, y fit construire un imposant corps de logis. Cette forteresse ovale épousait toute la terrasse avant d'être pratiquement rasée en 1632 sur ordre de Richelieu. Les murs qui subsistent aujourd'hui — une portion du pan sud et une partie du pan ouest — témoignent de cette construction de la fin du 15e siècle. En 1673, le chapitre collégial du Moutier-Rozeille s'installa dans ces ruines et donna son nom à la colline.