Le château, constitué de deux ensembles de bâtiments (le château vieux et le château neuf) a été construit à partir d'une petite résidence de Foulques d'Agoult, seigneur de Lourmarin. Le château vieux, à partir du bâtiment ancien, de 1495 à 1525 ; le château neuf, par Blanche de Levis pour son fils François d'Agoult, page de François Ier, de 1526 à 1567 ; le jardin fut aménagé en 1562. Au début du 17e siècle, il passe aux mains de François de Lesdiguières qui fait réaliser en 1637 une description des lieux pièce par pièce. Aux 19e et 20e siècles, le château est abandonné par ses propriétaires successifs, jusqu'à son rachat en 1921 par l'industriel lyonnais Robert Laurent-Vibert ; celui-ci le fait restaurer par l'architecte Henri Pacon et le peintre Charles Martel. A sa mort en 1925, Laurent-Vibert lègue le château à l'académie d'Aix, qui en assure l'entretien et y reçoit chaque année des groupes de jeunes artistes.