Construit à partir de 1612 par Zacharie de Laffite, noble protestant qui acquiert la seigneurie, le château de Cassaber est achevé en 1643. Le bâtiment originel épouse une forme en L, avec une aile nord et une aile est perpendiculaire. Des agrandissements successifs – un nouveau corps de logis à l'est, puis un pavillon au 19e siècle – ont étendu l'ensemble. La porte d'entrée à fronton orné de boules d'amortissement et la majorité des ouvertures conservent leur caractère du 17e siècle. À l'intérieur, plusieurs pièces gardent leur décor d'époque ou remanié au 18e siècle. Les imposants communs situés au sud témoignent de l'importance du domaine agricole jadis exploité par cette ancienne abbaye laïque.