Édifié progressivement du XIVe au XIXe siècle, le château de la Varenne porte l'empreinte de plusieurs générations. Le noyau ancien remonte à une maison forte du XIVe siècle, agrandie aux XVIe ou XVIIe siècles d'un corps central et de deux pavillons carrés. En 1721, le procureur du roi Nicolas Luilier ajoute deux ailes de communs. Au XIXe siècle, les Deschamps de la Varenne transforment le bâtiment principal, agrandi et surélevé en 1801, tandis que les autres éléments suivent peu après, dirigés notamment par Alphonse-Charles d'Agoult. Entouré de douves en eau et construit en grès selon le style bourbonnais, l'ensemble s'ordonne autour d'une cour fermée. On remarque les deux pavillons symétriques coiffés de clochetons d'ardoise, l'un abritant une chapelle du XIXe siècle. Le château accueillit successivement un orphelinat à partir de 1896, les scouts de France dans les années 1930 et une école d'agriculture dans les années 1950. Depuis les années 1960, la famille entreprend sa restauration.