Mentionné dès 1275, le château de la Baume devint la demeure de la baronnie de Peyre en 1632, après la destruction du château originel. Ses transformations successives en font un édifice fascinant : ailes nord et est flanquées de tours d'angle au 17e siècle, puis en 1708, une longue façade sud inspirée de Versailles, complétée par une quatrième tour d'angle et deux pavillons fermant la cour intérieure.

L'intérieur révèle des décors de plusieurs périodes. La chambre du roi conserve sa cheminée en bois de 1702 ; le cabinet de travail (1714) étonne par ses lambris peints de panneaux mythologiques encadrant des poutres ornées d'armoiries et de rinceaux. La chambre du « grand César » garde sa décoration naïve de 1680 : imitation en bois d'un poêle de faïence aux motifs évoquant les carreaux de Delft, poutres peintes en camaïeu bleu et blanc. La salle à manger, agrandie en 1708, mêle toiles mythologiques du 17e et 18e siècles, tandis que le grand salon s'habille de boiseries Régence. Une cheminée provenant du château de Chanac porte les armes des évêques de ce lieu.