Édifié entre 1317 et 1346, ce château épiscopal conjugue forteresse et résidence. Son plan carré autour d'une cour centrale affiche une architecture massive, tempérée seulement par une tour centrale qui s'élance au sud et des tourelles d'angle. Les meurtrières à fusil visibles dans le rempart rappellent sa vocation première de place forte.

Les guerres de Religion ont gravement endommagé l'édifice en 1568. Au cours du XVIIe siècle, entre 1673 et 1710, les ailes ouest et sud ont été remaniées, tandis que le château se transformait progressivement en résidence d'été.

L'intérieur révèle des décors de grand intérêt. La chapelle conserve ses murs peints d'un décor géométrique du XIVe siècle, partiellement recouvert au XVIIIe siècle de grandes compositions figuratives. La Chambre de l'Évêque s'orne d'un plafond à caissons en bois polychrome du XVIIe siècle. Une chambre haute garde les traces d'un décor peint des XIVe ou XVe siècles.