Le château du Cauroy a été reconstruit dans la seconde moitié du XVIIIe siècle, selon les principes architecturaux en vogue à cette époque. Le site conserve les vestiges d'un édifice antérieur, remontant au XVIIe siècle ou avant, témoignage des occupations successives du lieu. Le bâtiment actuel a connu des transformations au XIXe siècle, qui en ont modifié l'aspect initial.