Le château de Talhouët a connu plusieurs vies successives. Un manoir médiéval occupait le site aux 14e-15e siècles, avant d'être remplacé par une nouvelle demeure construite entre 1580 et 1582, de plan en L. Au début du 17e siècle s'ajoute la chapelle Saint-Jean, édifiée dans le style Renaissance. En 1647, le logis s'agrandit vers l'est. Le 19e siècle lui donne son allure actuelle : dans les années 1850, un pavillon abritant un jardin d'hiver et des communs s'élève à l'ouest ; vers 1860, la salle de billard et le grand-salon reçoivent des boiseries et des plafonds à la française richement décorés. De ces transformations subsistent de beaux témoins architecturaux : une crédence en granit finement sculptée de motifs gothiques, une imposante porte en granit, et un escalier de pierre du 17e siècle aux paliers droits. Le manoir médiéval et ses dépendances ont disparu à la fin du 19e siècle.