Le château de Brousse domine le confluent du Tarn et de l'Alrance, en Aveyron. Le village qui s'accroche à ses pieds figure parmi les plus beaux de France.

Un premier château est mentionné dès le IXe siècle. La forteresse actuelle, avec ses six tours et son enceinte, date pour l'essentiel des XIVe et XVe siècles. Elle appartint aux comtes de Rodez, puis aux Arpajon.

Sa position commandait le passage sur le Tarn : les gorges y sont étroites, et l'on ne franchissait la rivière qu'en un point, par le pont gothique en dos d'âne qui subsiste.

Vendu comme bien national à la Révolution, transformé en presbytère puis en école, le château est abandonné en 1900 et tombe en ruine. La commune l'acquiert en 1963 et entreprend sa restauration, qui se poursuit depuis.

Il est classé monument historique.