Édifié au Moyen Âge, le château Chavat conserve les traces d'une forteresse autrefois imposante. Son enceinte quasi circulaire suggère des origines très anciennes. Gravement endommagé au 13e siècle, il fut rapidement reconstruit. Aujourd'hui subsistent une tour ronde évidée, divisée en trois étages, et une seconde tour partiellement effondrée. Les marques d'arrachement dans les murs révèlent l'emplacement d'une troisième tour, une quatrième ayant probablement existé. Des fossés alimentés par une source majeure, qui alimente encore un lavoir avant de se déverser dans la Garonne, complétaient autrefois la défense. Les ouvertures du bâtiment ont été remaniées aux 15e et 17e siècles.