Édifié au milieu du 17e siècle par la famille de Vitry, ce château de plan rectangulaire s'élève au cœur d'Arc-en-Barrois, près de l'église et des rives de l'Aujon. Il remplace un château médiéval de la famille de Broyes, dont il ne subsiste aucune trace. En 1845, Adélaïde d'Orléans, sœur du roi, entreprend sa transformation complète pour en faire un présent à son neveu François d'Orléans, prince de Joinville. L'architecte Pierre-Bernard Lefranc dirige ces importants travaux de rénovation et d'aménagement. Le château s'est depuis transformé en hôtel.