Niché au bas d'un coteau, le manoir de la Fosse présente une architecture complexe issue de remaniements successifs. D'origine probablement médiévale, il conserve ses parties principales de la fin du 16e ou du début du 17e siècle. L'édifice se compose de deux bâtiments distincts : un pavillon à l'ouest et une aile basse à l'est, reliés par une tour d'escalier ornée d'oculi sculptés. Cette tour desservait autrefois une aile perpendiculaire, aujourd'hui disparue. Le pavillon ouest a préservé sa distribution intérieure d'époque aux niveaux supérieurs, avec son mur de refend, ses cheminées adossées et une partie de ses huisseries originales. L'aile est a été transformée au 19e siècle, période à laquelle remontent également les dépendances visibles.