Au Moyen Âge, Alluyes était la première des cinq baronnies du Perche-Gouêt. Le château conserve un donjon du 12e siècle, vestige de cette puissance seigneuriale ancienne. Entre la porte fortifiée et le donjon s'élève l'ancienne chapelle Saint-Nicolas, reconnaissable à son abside hémi-circulaire. Initialement percée de quatre fenêtres en plein cintre, elle a été transformée en grange lors de la création d'une large porte charretière dans son mur ouest. Sa charpente a été entièrement refaite à la fin du 15e et au début du 16e siècle, et une voûte en bardeaux a été ajoutée, ornée de peintures dont subsistent des traces.