Ancienne résidence du bailli, représentant du seigneur, ce château du début du XVe siècle a subsisté sous la forme d'un corps de logis appuyé aux remparts de la ville. Besse-et-Saint-Anastaise avait en effet reçu permission d'édifier ses fortifications en 1406 et 1417, permissions renouvelées par Charles VII en 1436 et 1449. L'enceinte, flanquée de six tours et bordée de larges fossés, comportait trois portes et une poterne.

Le bâtiment conserve sa tour circulaire d'angle et son pignon sur le rempart, orné de restes de mâchicoulis et d'échauguette. La façade nord, la mieux préservée, offre des détails remarquables : un pan coupé couronné de corbeaux en trois-quarts de rond, un pignon aigu et une porte au rez-de-chaussée à encadrement mouluré. Une tourelle en arc de cercle a été ajoutée ultérieurement à l'angle nord. La tour circulaire renferme trois étages, les premier et deuxième couverts respectivement d'une voûte d'arêtes et d'une voûte en calotte. La façade sud a été entièrement refaite au XIXe siècle.