Dominant un passage vers les grands sanctuaires médiévaux, Montdardier a servi de forteresse depuis le 12e siècle. Convoité lors de la guerre de Cent ans, il fut renforcé en 1365 face à la menace anglaise, puis incendié en 1469 par une bande au service du comte d'Armagnac. Les guerres de Religion le ravagèrent à nouveau en 1563. Après des restaurations tardives, les destructions révolutionnaires de 1792 le réduisirent en ruine. Vers 1860, Fernand de Ginestous confie à Viollet-le-Duc la reconstruction du château. L'architecte le redessine entièrement dans le style médiéval, tout en préservant une tour du 15e siècle et les substructions rocheux originels, créant ainsi un dialogue entre passé et restauration historiciste du 19e siècle.