Bastide du 17e siècle, le château de Castille a connu une transformation majeure à la fin du 18e siècle sous l'impulsion de Gabriel-Joseph Froment, baron de Castille. Ce dernier a entrepris une refonte « à l'antique » du vieux château et enrichi son parc de fabriques pittoresques, témoignant des goûts de son époque.

Le château a basculé dans l'histoire de l'art moderne en 1950, quand le collectionneur Douglas Cooper l'acquiert pour y abriter sa remarquable collection de tableaux contemporains. En 1962, Cooper fait réaliser une décoration singulière : des dessins gravés à la meule sur une surface en béton, installés dans la galerie du château. Cette collection, qui a longtemps défini l'intérêt du lieu, a disparu en 1977.