Ancien siège d'une seigneurie attestée dès 804, Lavalette a connu une longue histoire défensive. Fortifié en 1162, le château-fort médiéval s'élevait probablement à l'emplacement de l'édifice actuel. Après le siège de 1585 mené par les troupes de Joyeuse, une reconstruction partielle s'impose. La paix de 1595 marque le vrai tournant : c'est au cours du second quart du 17e siècle qu'intervient une grande campagne de restauration dont subsistent une porte extérieure et une monumentale cheminée. Les seigneurs de Lavalette rendaient autrefois hommage à l'évêque de Lodève. Par la suite, les châtelains transfèrent leur résidence habituelle à Lodève, releguant progressivement Lavalette au second plan.