Lafage possède un site castral attesté depuis 960. Du château ruiné ne subsiste qu'une tourelle d'angle du 16e siècle, devenue réservoir d'eau communal. Cette construction de plan circulaire, en moyen appareil, conserve les traces des courtines qui la reliaient à angle droit. L'entrée s'ouvrait à la base, dans l'angle de ces murs. Équipée de six canonnières rectangulaires et d'une bretèche, la tour témoigne de préoccupations défensives. Sa corniche, profilée en quart-de-rond, demeure visible au sommet. L'intérieur, dépourvu d'escalier, a perdu sa toiture ancienne.