En 1374, Jean Bernier fortifia son manoir en château-fort au plan pentagonal, dont la grosse tour domine encore aujourd'hui. François Ier y trouva la mort lors d'une visite. Élevé en marquisat en 1612, puis en duché-pairie en 1711 par le comte de Toulouse, le château perdit progressivement son caractère martial : fossés comblés, pont-levis supprimés, cour régularisée. Au 18e siècle, on aménagea des appartements d'assemblée et un parc à l'anglaise de 25 hectares, orné de fabriques décoratives. Louis XVI, propriétaire à titre privé à partir de 1783, y développa une ferme expérimentale d'élevage de moutons mérinos et fit installer une laiterie de propreté. Napoléon supprima l'aile orientale, remania le bâtiment central et rénova jardins et réseau hydraulique. Les appartements du rez-de-chaussée haut de l'aile ouest furent décorés, notamment la salle de bain peinte par Vasserot et Godard. Sous la Restauration, de nouvelles transformations accentuèrent son hétérogénéité. À partir de 1894, la Troisième République en fit sa résidence présidentielle.