Depuis le XVIIe siècle, le château de Vergez demeure aux mains de la même famille, d'abord les de Vergès, puis les d'Argoubet. Construit à l'origine comme maison de maître, il s'inscrivait dans une vaste exploitation agricole : dix-huit fermes dépendaient du domaine en 1837. À la fin du XVIIIe ou au début du XIXe siècle, Jean-Jacques d'Argoubet, général des campagnes napoléoniennes en Italie, entreprend de transformer sa demeure. Il lui confère une allure palladienne, crée un parc paysager et convertit le pigeonnier en chapelle. Ces aménagements marquent l'ascension sociale de la famille, récemment anoblie, et font du château une véritable résidence de prestige.