Ancré au cœur du village, le château de Pégairolles-de-l'Escalette dresse son architecture de forteresse médiévale. Mentionné dès 824, lorsque Louis le Pieux le céda à l'évêque de Lodève, il devint au 16e siècle la possession de Louis de Fabre, premier seigneur temporel du lieu. L'édifice s'organise autour d'une cour intérieure fermée par quatre côtés : trois corps de bâtiments et un mur d'enceinte. Quatre tours rondes en défendent les angles, sauf le sud-est où s'élevait autrefois un donjon rectangulaire, partiellement ruiné. L'aile nord et le corps central abritaient les appartements, tandis que le côté sud était réservé aux granges et écuries. L'escalier monumental, qui traverse la cour sur toute sa largeur, s'éclaire par deux galeries superposées à arcades. Les voûtes d'arêtes couvrent l'ensemble du rez-de-chaussée. Les créneaux et les sommets des tours ont disparu en 1793. Le château résulte d'aménagements successifs depuis le 12e siècle, les transformations majeures datant du 17e siècle.