Le château d'Aragon apparaît dans les archives dès 1287, lorsque son castrum devient la possession d'une succession de seigneurs après la croisade albigeoise. Édifié aux 16e et 17e siècles, il adopte un plan à symétrie axiale autour d'une cour intérieure. Sa façade principale, encadrée par deux tours carrées, conserve les traces de son évolution défensive : la porte centrale était autrefois protégée par une bretèche au deuxième étage, dont subsistent deux corbeaux en quart de rond. À la fin du 16e ou au début du 17e siècle, cette bretèche a cédé la place à une fenêtre à meneau chanfreiné, tandis que la porte s'élargissait et s'encadrait de colonnes ornées de pointes de diamant. Dans la cour, le grand arc surbaissé qui soutenait la galerie du premier étage demeure pratiquement intact. Plus tard, une galerie à trois arcades a embelli la façade sur la place, probablement lors de l'aménagement d'un parterre attesté vers 1750.