Édifié à la fin du 15e siècle pour l'évêque de Rodez, le château de Saint-Pal-de-Chalencon formait un ensemble fortifié associant la forteresse et son enceinte défensive. Le bâtiment conserve une cheminée d'époque, témoin de l'architecture du 15e siècle dans sa cuisine. Au tournant du 17e et du 18e siècle, la demeure passe aux mains de la famille de Polignac, marquant un changement majeur dans son histoire. Aujourd'hui encore, le château garde les traces de ces deux périodes distinctes de son passé.