Cet ensemble immobilier conjugue les apports des 16e et 18e siècles. Le pavillon Moret, adjonction de la fin du 15e siècle, servait de bâtiment commun. Un cartouche ornemental, autrefois situé avenue ou rue Notre-Dame sur un édifice aujourd'hui disparu, en provient. L'incendie de 1871 a nécessité une restauration importante qui a marqué la physionomie du palais.