Au Moyen Âge, Alluyes était le siège de la première des cinq baronnies du Perche-Gouêt. Le château conserve son donjon du 12e siècle, vestige de cette importance féodale. Entre la porte fortifiée et ce donjon s'élève l'ancienne chapelle Saint-Nicolas, reconnaissable à son abside hémi-circulaire. Originellement percée de quatre fenêtres en plein cintre, elle a été transformée en grange lors de l'ajout d'une large porte charretière au mur ouest. À la fin du 15e siècle et au début du 16e, les transformations se poursuivent : la charpente est entièrement refaite et une voûte en bardeaux recouvre l'édifice, décorée de peintures dont subsistent des traces.