Perché à l'extrémité d'un éperon rocheux, le château de Boutavant domine la vallée de la Grosne et en contrôle l'accès nord. Fondé probablement au XIIe siècle par les Gros d'Uxelles, sires de Brancion, il est cédé en 1237 à l'abbaye de Cluny. Pris à plusieurs reprises du XIVe au XVIe siècle, il est ensuite désarmé et reconverti en domaine agricole. Le château forme un vaste quadrilatère flanqué d'une imposante tour ronde au sud-est et d'une tour carrée au nord-est, où subsiste une chapelle néo-gothique. La cour ouverte au nord par un porche accueille à l'est un grand bâtiment de communs réaménagé en écuries et granges au XVIIIe siècle. Le corps de logis surplombe les terrasses et le parc aménagés respectivement aux XVIIIe et XIXe siècles. En 1867, le comte d'Audiffred acquiert l'ensemble et le modernise en lieu de villégiature.