Les Tours de Merle forment les ruines d'une petite place fortifiée unique : une châtellenie, c'est-à-dire un ensemble de châteaux distincts appartenant à plusieurs seigneurs et servant de refuge collectif en temps de guerre. L'ensemble date principalement du 14e siècle, bien que certains éléments puissent remonter plus anciennement. Les vestiges témoignent de cette occupation plurielle : la maison de Fulcon de Merle (1365), les châteaux présumés du commandeur et du prieur de Saint-Léger, les tours de Noailles et de Pestel, sans oublier les restes du château de Saint-Bauzire. Subsistent également les traces du pont-levis de Veilhan et de la maison de la garde du pont. Un édifice religieux, la chapelle Sainte-Anne, y fut construit en 1674.