Ancien siège de l'abbaye cistercienne de Candeil, le château de Lézignac est né d'une donation du comte de Lautrec en 1159. Ce domaine comportait alors terres, moulin et forteresse, devenant l'une des granges les plus prestigieuses du puissant monastère languedocien.

Le bâtiment révèle plusieurs strates historiques. Ses sous-bassements—caves, vestiges de tour et de donjon, souterrain—remontent aux 12e et 13e siècles et témoignent d'une vocation défensive initiale. Le gros œuvre de la construction date surtout des 15e et 16e siècles. À la fin du 18e siècle, vers 1760-1780, quand Lézignac devint la résidence officielle des abbés de Candeil, de grandes fenêtres ont été percées sur les façades nord et sud, transformant l'intérieur en un espace plus lumineux et résidentiel. Des modifications au 19e siècle ont progressivement atténué le caractère défensif du château, notamment par la transformation de la cour intérieure et des structures de défense.