Édifié au cœur du XVIIe siècle, le château de Lesquiffiou s'élève probablement sur les vestiges d'un ancien manoir. De cette époque plus ancienne subsiste un pigeonnier du XVIe siècle. Le corps principal, datant de 1698, a reçu au cours de la première moitié du XVIIIe siècle deux pavillons carrés flanqués d'ailes en retour d'équerre. Au XIXe siècle, l'édifice a connu une profonde transformation : les ailes ont disparu entre 1890 et 1897, et la façade occidentale a été entièrement reconstruite, doublant la largeur du corps central dans un style inspiré de Louis XV. Le domaine s'enrichit également d'une ferme érigée entre 1861 et 1863 par le marquis de Lescoët, pensée comme ferme modèle pour une école d'agriculture — un ambitieux projet que la guerre de 1870 ne permit pas de mener à son terme.