Édifié au 16e siècle, le château de Brousse affiche une silhouette caractéristique où domine un corps de logis rectangulaire flanqué d'une tourelle ronde d'escalier. Cette tourelle, plaquée contre le centre de la façade sud-est, couronne le bâtiment de mâchicoulis en encorbellement, tandis que le logis lui-même se pare d'une galerie de mâchicoulis sur corbeaux. Au sud subsiste une tourelle tronquée, vestige d'un ancien colombier. L'intérieur révèle un escalier à vis remarquable : son axe culmine en une colonne au chapiteau orné d'un tailloir rectangulaire, dont les angles reçoivent la retombée de quatre nervures moulurées. Malgré les transformations intérieures, le château a préservé intact son parti architectural extérieur.