Le château de Villebon s'est construit progressivement du 15e au 17e siècle. Son histoire prend un tournant décisif en 1607, lorsque Maximilien de Béthune, premier duc de Sully, en devient propriétaire. Le site conserve un remarquable colombier datant de la première moitié du 17e siècle, situé à l'est du château. Cette construction circulaire associe les briques et la pierre de taille, cette dernière formant un bandeau bombé qui ceinture l'édifice. L'intérieur révèle un ingénieux système d'origine : une charpente à enrayure repose sur un poteau central équipé de potences qui soutiennent une échelle tournante. Les murs sont entièrement pourvus de boulins en briques, témoignant du savoir-faire de l'époque en matière de construction colombicole.