Construit à partir de 1574 sur les vestiges d'une forteresse médiévale, le château de Rouvray conserve la trace de cette longue histoire défensive. Le domaine, qui appartenait à Jacques de Mallemouche à la fin du 15e siècle, était primitivement protégé par une enceinte rectangulaire flanquée de tours et de douves. Aujourd'hui subsistent les tours d'angle nord-ouest et nord-est.

Le château lui-même borde le côté sud d'une cour intérieure, accessible par une porte fortifiée remaniée au 16e siècle. Le logis principal, bâtiment rectangulaire, est épaulé d'une tour cylindrique en angle sud-ouest, dont la salle basse servit de chapelle. Des tours rondes complètent la défense des façades nord-est et sud-est, tandis que des tourelles en encorbellement ornent les angles nord-est et nord-ouest. Une tour polygonale en saillie sur la façade nord abrite un escalier à vis, centre névralgique d'une construction où se mêlent la puissance médiévale et les réaménagements de la Renaissance.