Édifiée aux 12e et 14e siècles par les familles de Malestroit et de Château-Giron, la forteresse de Largoët passa aux Rieux en 1463. Incendiée en 1487 durant la guerre de succession de Bretagne, elle fut reconstruite à partir de 1491. Le château connut des jours meilleurs : propriété du surintendant Nicolas Fouquet en 1656, il présentait déjà d'alarmantes ruines selon l'état des lieux établi à l'époque. Au 19e siècle, Prosper Mérimée jugea ces vestiges trop dangereux. En 1905, l'architecte rennais Jobbé-Duval dirigea une restauration majeure de la tour ronde.

Aujourd'hui subsistent les traces de cette longue histoire : deux corps de logis (nord et sud), un châtelet, une tour ronde nord-ouest de trois étages, et surtout un imposant donjon octogonal de cinquante mètres de haut, percé de cinq étages, qui domine l'ensemble de ses masses irrégulières.