Édifié dès le 8e siècle pour exploiter sa position stratégique, le château de Castelnau-Pégayrols est entièrement reconstructs au 11e siècle. Sa structure trapézoïdale s'organise autour d'un corps principal au sud, flanqué de deux tours carrées aux angles, où s'ouvrent de vastes salles voûtées en berceau. À l'étage noble, les pièces se parent de stucs et de voûtes d'arêtes. Les deux ailes en équerre, perpendiculaire et biseautée, ajoutées au 15e siècle, conservent une allure fortifiée. Au 18e siècle, l'escalier principal a été aménagé au nord du bâtiment. La porte d'entrée, couronnée d'un fronton curviligne, arbore les blasons des deux familles seigneuriales.