Le château de Tressan porte les traces d'une longue histoire dont les origines demeurent obscures. La seigneurie est attestée dès 969, mais c'est à partir de 1410, quand elle passe à la maison de La Vergne, que le château prend sa physionomie actuelle. Aux 14e et 15e siècles, d'importants remaniements transforment la demeure : croisées gothiques et Renaissance en témoignent. Au 17e siècle, le château jouit d'un certain prestige, comme l'atteste la visite de l'évêque de Béziers en 1605. L'enceinte urbaine du 14e siècle formait un quadrilatère irrégulier défendu par des tours et percé de trois portes, bien que les aménagements ultérieurs en aient estompé les traces. Progressivement, le château-fort cède la place : au 18e siècle il a perdu ses caractères défensifs, et au 19e siècle il s'est transformé en grosse maison bourgeoise.