Le manoir d'Auffay témoigne de cinq siècles d'histoire. Bâti à partir de la seconde moitié du 15e siècle par les seigneurs d'Houdetot, il occupe le site d'une ancienne forteresse des 11e-12e siècles dont subsiste la motte fossoyée. Le logis se présente comme un ensemble rectangulaire flanqué de deux tours d'angle et d'une tourelle polygonale au nord. La construction révèle un riche décor composé de lits alternés de briques, pierre et silex. Le contraste est saisissant entre la façade nord, d'aspect fortifié avec ses petites ouvertures, et la façade sud, où s'épanouit le décor de la Renaissance. Le vestibule renferme un remarquable plafond à caissons datant de 1553, attribué au sculpteur Jean Goujon. Le domaine conserve aussi un colombier de même style et sa motte castrale ceinte de fossés. Des travaux de restauration de la façade sud ont été menés vers 1900 par l'architecte Janet.