Édifié au 12e siècle par les Bermond de Sauve, vassaux du comte de Toulouse, le château de Durfort a connu une histoire mouvementée. Après l'annexion de leurs biens à la couronne en 1243, le site passe à l'évêque de Maguelone en 1293, puis change plusieurs fois de mains. À partir de 1600, les seigneurs lui préfèrent une demeure dans la grande rue, reléguant l'ancienne forteresse au rang de « château vieux ». Vendu en lots en 1775 par le comte de Cadolle, la tour donjon est sauvée de sa conversion en carrière en 1861 et récupérée par une branche cadette de la famille. Cette tour carrée, montée sur quatre niveaux de salles, affiche une belle construction en appareil régulier rehaussée de pierres à bossage rustique. Le château primitif s'est enrichi d'un corps de bâtiment prolongé vers la tour, puis surélevé et couvert d'un toit à génoise. Les baies ont été entièrement reprises au 19e siècle.