Le château de Varax conserve des vestiges du 14e siècle, visibles dans ses deux tours carrées qui constituent la partie la plus ancienne de l'édifice. L'ensemble a connu un destin mouvementé : quasiment détruit en 1593, il a été progressivement restauré. Au début du 20e siècle, son aspect a changé avec le remplacement de la cour-verger traditionnelle par une pièce d'eau. Les vicissitudes révolutionnaires ont aussi marqué le lieu : le mobilier a été vendu en 1794.