Édifié au 13e siècle, le château de Quillan conserve les marques de la période de Philippe le Hardi : ses murs présentent un appareil caractéristique à bossages. De plan à peu près carré, la forteresse était défendue par cinq petites échauguettes d'angle, reposant sur des assises en encorbellement, dont subsistent les bases. On compte cinq archères par face, longues et rectilignes, avec ébrasement carré à leur base. L'ancienne entrée, en arc brisé, se distingue toujours à la base de la façade sud. Le château aurait souffert d'un incendie vers le 16e siècle, lors des incursions espagnoles de 1540-1544. Pendant les guerres de Religion, sa garnison fut renforcée en 1573.