Le château de Castries a été reconstruit à partir de 1645 sur les ruines d'une forteresse médiévale démantelée en 1622. Seules subsistent de cet édifice ancien les voûtes d'ogives de deux pièces du rez-de-chaussée de l'aile nord. Jean Bonnassier, maître d'œuvre attesté en 1663 et 1664, a supervisé la majeure partie des travaux. Le projet initial prévoyait trois corps en U autour d'une cour, mais seuls deux ont été achevés. Les façades suivent le modèle montpelliérain classique, avec ses cordons d'étage réguliers et ses grands pavillons carrés d'angle, dont deux autrefois couronnés de toits à brisis et terrasson. Ces derniers ont quasi totalement disparu au début du xviiie siècle. En 1670, un aqueduc construit par Antoine et Jean Arman a amené l'eau de la source de Fontgrand pour irriguer les jardins. Le parc actuel, composé selon les principes classiques, date de 1930. Le château, longtemps propriété de l'Institut de France et de l'Académie Française, a changé de mains en 2013.