Le château de Villeberny provient sans doute de la famille d'Orge, qui contrôlait une partie de la seigneurie locale dès le début du 15e siècle avant d'en posséder la totalité à la fin du 16e siècle. L'édifice associe un corps de logis rectangulaire à une aile en retour d'équerre. Trois tours carrées, dotées de chaînages d'angle harpés, flanquent l'extrémité sud du logis et les deux angles extérieurs de l'aile. Si la structure générale remonte aux 15e et 16e siècles, le corps de logis a connu des transformations aux 18e et 19e siècles. La cour intérieure est fermée à l'est par un mur percé d'une imposante porte cochère en plein cintre, qui marque la séparation avec les communs.