Édifié entre le 16e et le 17e siècle au sommet d'une colline près de la chapelle Saint-Herbot, le manoir du Rusquec s'organise autour de trois enclos successifs : potager, logis avec dépendances, puis verger en contrebas. Le premier seigneur du Rusquec figure aux archives dès 1427. C'est probablement Anceau du Rusquec, mort en 1522, et son fils Anne Jehan, décédé en 1536, qui ont édifié le noyau ancien du manoir. Un corps de logis supplémentaire fut ajouté au nord au milieu du 17e siècle par Alan de Kerlech du Chastel, marié à Renée de Lannion en 1637. Le site borde la rivière Ellez, transformée en lac par une centrale hydraulique qui a submergé la célèbre cascade bretonne de 70 mètres. Au début du 16e siècle, la proximité de la chapelle fit du lieu un centre d'activité religieuse avec foires et pardon importants.