Ancien siège du pouvoir abbatial de Saint-Claude, ce palais remonte à la première moitié du 12e siècle. Longtemps résidence des abbés de cette abbaye royale, il a connu plusieurs vies : transformé en demeure du prieur après 1510, il devient palais épiscopal jusqu'à la Révolution. Son architecture témoigne de ses multiples existences, avec des restaurations au début du 17e siècle, une reconstruction au 18e siècle, puis une nouvelle au 19e siècle. Le bâtiment a même servi de chapelle avant de retrouver sa vocation résidentielle.