Dominant la ville depuis une hauteur, ce château demeure depuis neuf siècles le siège de la même famille. Son histoire s'éclaire à travers ses pierres : la tour carrée du Xe siècle, dite tour Bermonde, et le bâtiment de la Vicomté édifié par Robert aux fondations romaines ; puis l'aile Renaissance de 1566, chef-d'œuvre signé Philibert Delorme, où les trois ordres antiques (dorique, ionique, corinthien) déploient colonnes, pilastres et bas-reliefs. L'escalier voûté évoque celui du château de Pau. La porte d'entrée provient d'un temple romain dédié à Auguste, encadrée de colonnes de granit alpestres. La chapelle gothique flamboyant affiche en briques colorées les armoiries ducales. Une tour de la Vigie du XIIe siècle et une tourelle d'escalier du XVe complètent cet ensemble de sept siècles de constructions. À proximité, une fontaine Renaissance aux pilastres à refends et une maison dotée d'un remarquable escalier aux coupoles sculptées témoignent du raffinement des aménagements ducaux, qui captaient les sources locales pour alimenter l'aqueduc du Pont du Gard.