Cascastel possède un château aux origines très anciennes : la villa Calcicustello y est attestée dès 861. Le fort lui-même remonte à 1119. Longtemps sous l'autorité de l'abbé de Lagrasse, qui y exerçait la justice jusqu'à la fin du 17e siècle, le site était aussi partagé avec d'autres seigneurs en paréage.

De cette période médiévale subsiste la tour carrée, unique vestige du fort primitif. À partir du 17e siècle, l'ensemble s'étoffa : un four destiné probablement au traitement de l'antimoine, datable de cette époque à ses techniques de taille, puis au 18e siècle une vaste maison complétant le logement au sud de la tour. Ce bâtiment d'habitation, aujourd'hui en ruines, rappelle l'ampleur que le château atteignit à cette période. Des constructions ont également existé au nord, disparues lors de l'édification du four. Le domaine bénéficiait autrefois d'une liaison vers un parc situé sur l'autre rive, franchie par un pont à quatre arches.