Le château de Lavagnac s'est construit en deux grandes étapes. La famille Mirman, seigneurs d'Adissan, entreprit d'abord la création du bâtiment principal entre 1622 et 1640, organisé autour d'une cour à l'est et pourvu de tourelles caractéristiques, avec ses escaliers extérieurs. Une seconde campagne, menée dans la première moitié du 18e siècle, vit l'adjonction d'écuries, d'orangeries et de terrasses agrémentées de fontaines, tandis que l'entrée principale était reportée au sud. L'ensemble était achevé en 1760. Ce site, mentionné dès le 9e siècle sous le nom de Lavania, avait d'abord relevé du monastère d'Aniane avant de passer à la seigneurie locale au 16e siècle.