Maison-forte du 14e siècle, le château de Polisy a été entièrement réaménagé entre 1537 et 1555 par Jean de Dinteville, ambassadeur de François Ier en Angleterre, qui s'y retira pour transformer sa demeure. Les travaux ont d'abord porté sur la basse cour : une aile d'entrée avec passage, puits, ancienne laiterie et cellier, complétée d'une grange, d'écuries et d'un logement indépendant. Au 19e siècle, une nouvelle dépendance dotée d'une serlienne a enrichi l'ensemble. Face à la cour se dresse la façade du château, en regard de la chapelle seigneuriale qui ouvre directement sur le chœur de l'église. Un incendie en 1992 a endommagé le bâtiment.