Cet ensemble architectural complexe raconte mille ans d'histoire. À l'origine s'élevait une chapelle dédiée à sainte Marie-Madeleine, fondée en 1069. Un pilier datant de 1154 témoigne de son évolution. Construite sur une crypte, cette chapelle fut surbaissée au fil des siècles. En 1259, elle devint annexe d'une léproserie implantée dans l'enclos. La crypte accueillit alors le logement des malades, reliés par un souterrain aux bâtiments administratifs disposés en U.

En 1656, la léproserie ferme. Six ans plus tard, les religieuses de la Visitation s'y installent et transforment les lieux. Elles recréent la chapelle et font construire au cours des 17e et 18e siècles un quatrième bâtiment qui ferme le U, créant une cour centrale bordée de galeries de cloître. Subsistent aujourd'hui : la tour de guet du mur d'enceinte, les trois corps de bâtiments d'origine, l'entrée sur la Chaume Saint-Lazare, et l'ensemble du 18e siècle avec ses cellules de religieuses conservées dans leur état ancien.