Rebâti vers 1480, ce château a connu des fortunes diverses. Vendu à la Révolution, son châtelet sud-est servit de prison jusqu'en 1820. Acquis par la ville en 1845, il fut partiellement démoli, puis transformé en hôpital, puis en théâtre. De ses fortifications médiévales subsistent une courtine nord avec chemin de ronde couvert, terminée par une tour demi-cylindrique, ainsi qu'une ancienne grange et écurie. Le château originel comportait une porte monumentale flanquée de tours rondes, un donjon au sud commandant une poterne, et diverses dépendances : pavillon de la recette, jeu de paume, puits. Une église Saint-Ymas à nef unique s'y intégrait, dotée d'une chapelle latérale voûtée d'ogives. Au 19e siècle, les façades ont été en partie refaites, tandis que l'ancienne grange était transformée en théâtre à l'italienne avec café et logements. En 1922, l'architecte Maurice Mignon a construit un nouveau bâtiment à l'ouest.