Depuis 1176, un castrum se dresse à Caylus. Au XIVe siècle, l'inventaire de 1351 révèle sa composition : une tour carrée dotée d'un escalier en vis, une tour ronde, deux salles, deux chambres et une chapelle, le tout fortifié. Seuls les deux premiers niveaux de la tour carrée ont survécu jusqu'à nos jours.

À la fin du XIXe siècle, l'architecte Paul Gout entreprend une reconstruction complète du château à partir de 1893. Il lui confère une allure résolument néo-médiévale : tours d'angle, fenêtres à meneaux et hautes toitures caractéristiques. Les décors intérieurs du rez-de-chaussée sont préservés. Vers 1911, l'ancienne chapelle est entièrement refaite, sans doute en réutilisant certains éléments des murs originels. Parallèlement, un parc paysager est créé sur le site du château Vieux, exploitant intelligemment l'organisation en terrasses des anciennes fortifications.