Perché sur une butte dominant le village, le château de Montaillou conserve les vestiges d'une maison forte carrée édifiée au XIIIe siècle. Possession du comte de Foix au début du XIIe siècle, le site a connu une histoire tumultueuse : partiellement rasé en 1244 après la chute de Montségur, il fut néanmoins reconstruit puisqu'on le retrouve mentionné en 1272. L'édifice n'a pu survivre longtemps aux réformes royales : Louis XIII en ordonna la démolition en 1638. Il ne subsiste aujourd'hui que trois murs de la structure originelle. Les traces d'arrachements visibles dans la maçonnerie indiquent que le bâtiment comptait trois niveaux.