Édifié au 16e siècle sur la place du village, le château de Varaignes présente une architecture pittoresque mêlant éléments défensifs et Renaissance. Sa façade principale s'anime d'une tourelle en encorbellement qui en souligne l'angle. La face ouest se distingue par deux tours caractéristiques : une tour carrée et une tour hexagonale, toutes deux couronnées de créneaux et de mâchicoulis. Une petite tourelle en encorbellement vient se nicher dans le toit de la grosse tour. À l'intérieur, la façade sur cour révèle l'influence de la Renaissance. À noter : les portes d'origine ont quitté le château en 1925, vendues à des acquéreurs américains.