Édifié vers 1650 par le chevalier du Breil de Rays, le château de la Grand'Ville a succédé au château fort de Kérimer, dont le démantèlement avait libéré le site. L'architecture du bâtiment se compose d'un corps de logis rectangulaire central, encadré de deux petits corps latéraux symétriques qui forment une légère avancée. Un quatrième corps, de plan presque carré, s'articule à l'angle sud-est. Le château a changé plusieurs fois de mains : il entra d'abord dans la famille Chrétien de Tréveneuc par mariage, avant de passer au comte de Kergariou, qui avait épousé Mélanie de Tréveneuc. Des modifications ont été apportées à la structure au cours de la première moitié du XIXe siècle.