Le château de Chaban s'élève sur les vestiges d'une forteresse rasée à la fin du 14e siècle. Organisé autour d'une cour fermée, il conserve une imposante tour carrée du 13e siècle, dont les créneaux ont cédé la place au 16e siècle à une élégante lucarne. Une tourelle en encorbellement la flanque, tandis qu'un corps de logis se prolonge en retour d'équerre, percé de fenêtres à meneaux et d'une porte datant du 17e siècle. Une grosse tour ronde, vestige du château fort primitif, occupait autrefois une fonction de chapelle. Sur la façade dominant la vallée, une tour carrée bretêchée, agrémentée de fenêtres à meneaux, compose le centre du bâtiment.