Château fort perché sur les hauteurs de Saissac, le site existe depuis le 10e siècle. En 960, il passe sous contrôle du comte de Carcassonne. Au 15e siècle, Saissac devient baronnie donnant droit de siège aux États de Languedoc, avant d'être érigée en marquisat en 1604. Malgré le passage de la croisade albigeoise, le château-fort primitif survit, simplement démantelé. Le 16e siècle voit d'importantes reconstructions et le renforcement des défenses. À son apogée, au 17e siècle, l'ensemble comprend habitations, tours, écuries et basses-cours. Le déclin débute vers 1670, quand la baronnie perd ses privilèges parlementaires au profit de Pezens. En 1759, l'édifice gît en ruines.

Les vestiges conservent l'empreinte de cette architecture militaire : enceinte en trapèze protégée par trois ravins naturels, pont-levis au nord, deux niveaux de basses-cours, tours carrées à l'est, courtine ouest pourvue de canonnières, et tourelles rondes au sud défendant une deuxième esplanade. Un jardin y jouxtait au 17e siècle.