Ancienne ferme fortifiée du 15e siècle, le Manoir du Cloître constituait une défense indépendante face aux menaces qui pesaient sur les rives du Trieux. Saint-Clet avait payé un lourd tribut aux invasions normandes et aux guerres de Cent ans, d'où l'édification de ces forteresses de pierre. Le manoir conserve les traces de cette époque : une tour circulaire dotée d'un escalier à vis, un bâtiment principal aux cheminées et portes encadrées de granit finement travaillé, avec des arcs en plein cintre ou brisé. Les communs complètent cet ensemble.