Le château de Busset est une construction remarquable des 14e, 18e et 19e siècles, remarquable par son architecture unique en région : une « maison à chemises ». Sur trois de ses faces, le château présente un double mur d'égale épaisseur, créant entre eux un couloir de circulation desservant deux chambres par étage. En cas d'attaque, les solives pouvaient être retirées pour bloquer l'accès aux assaillants. Une tour d'escalier en angle complète l'ensemble, édifié en plan en L avec communs, porterie et chapelle.

Le 16e siècle a vu le mur est de la galerie orné de fresques illustrant l'œuvre poétique de Henri Baude. Les fenêtres à meneaux et la galerie des cuisines du 15e siècle, avec ses arcades en plein cintre, témoignent du raffinement du lieu. La cuisine conserve ses cheminées et voûtes d'époque.

Au 19e siècle, l'architecte Hode a remanié les façades par l'ajout de tourelles, machicoulis, échauguettes et pinacles. Les tours de Riom et de la Prison ont échappé à ces transformations. Cette dernière abrite au dernier étage un oratoire voûté en coupole, orné de peintures murales des 15e et 16e siècles. Le rez-de-chaussée conserve des pièces du 18e siècle aux lambris peints.