Édifié de 1534 à 1540 pour Nicolas Perrenot de Granvelle, premier conseiller d'État et garde des sceaux de Charles-Quint, ce palais reflète l'importance politique de son fondateur. Après la conquête française, il devient la résidence du gouverneur de la province. Au cours du 18e siècle, le bâtiment accueille successivement une salle de théâtre et l'Académie des Sciences, Belles-Lettres et Arts. Vendu comme bien national à la Révolution, il connaît une longue période d'exploitation locative au 19e siècle avant d'être acquis par la municipalité en 1864. Transformé en musée d'histoire après la Seconde Guerre mondiale, il offre un voyage à travers plusieurs siècles d'histoire besançonne, du prestige de la Renaissance à l'évolution architecturale du 18e siècle.