Le château de la Rolphie s'élève sur un site chargé d'histoire. À l'origine s'y dressait une villa gallo-romaine, dont subsistent colonnes et chapiteaux. Un repaire médiéval a succédé à ces ruines, avant d'être probablement détruit lors des guerres anglaises. Au début du 16e siècle, un manoir a remplacé ces vestiges : un corps de logis flanqué de deux tourelles d'angle en encorbellement, enrichi d'une galerie aux pilastres moulurés reliés par plate-bande. Un pavillon carré, ancienne chapelle, s'y adjoint, remarquable par ses douze colonnes corinthiennes. Le château conserve ses caves voûtées, témoins de son architecture défensive.