Acquis en 1794 par Pierre Olombel, un marchand-fabricant textile prospère, ce château témoigne de la réussite des industriels mazamétains. Transformé au cours du XVIIIe siècle, il adopte sa silhouette actuelle : un corps principal de 35 mètres de long, aux façades sobres unifiées par des décors en ciment moulé, prolongé par deux ailes. À l'intérieur, la richesse s'affirme dans le vestibule majestueux et son escalier théâtral, encadré de piliers cannelés. La fin du XIXe siècle apporte une rénovation majeure, probablement dirigée par l'architecte montpelliérain Louis-Alphonse Corvetto. On découvre dans l'aile est des boiseries en noyer datant de la fin du XVIIIe siècle, tandis que l'aile ouest conserve ses communs : buanderie avec puits et lavoir d'époque. Les Olombel firent aménager un parc de deux hectares qui mettait le château en valeur, avant son morcellement au début du XXe siècle.