Ancien château des comtes de Toulouse, cet édifice devint au 13e siècle la propriété des évêques et prévôts d'Avignon avant d'intégrer le domaine royal. Le pape Clément V y rendit son dernier souffle le 20 avril 1314. Une chapelle, construite sur le modèle de la Sainte-Chapelle, y avait été érigée par Saint-Louis. La tour subsistante, jadis flanquant les remparts, renferme une salle semi-circulaire aux voûtes d'ogives ornées d'une clef en rosace, retombant sur des culs de lampe massifs. Deux meutrières percent les murs au niveau du sol. Un escalier à vis permet l'accès à la terrasse sommitale.