Forteresse du Moyen Âge, le château de Penne a connu une histoire tourmentée. De 1211 à 1215, il subit un long siège mené par Simon de Montfort et ses troupes, dans le contexte de la croisade contre l'hérésie albigeoise. Treize ans plus tard, en 1228, le roi de France assiégea à nouveau la place. Malgré la cession de ses droits méridionaux au roi par Amaury de Montfort, Penne refusa de se soumettre aux Français. Par la suite, Anglais et routiers s'en emparèrent tour à tour. L'arrivée de l'artillerie sonna le déclin de la forteresse, qui fut progressivement démantelée. Aujourd'hui subsistent des portions de courtines, la porte principale flanquée de ses deux tours de défense, et les vestiges du donjon.