Le château de Brosse, dont les origines remontent aux 10e-12e siècles, subsiste aujourd'hui à l'état de ruines qui en restituent clairement le plan. La fortification conserve une porte d'entrée accompagnée de son guichet, remarquable par l'absence de dispositifs défensifs élaborés. Face à cette entrée s'élèvent des masses maçonnées, dont l'une garde les traces d'une tour polygonale : le corps de logis principal. Un puits à margelle en pierre témoigne de l'occupation ancienne. Les murailles effondrées qui ceinturent le site permettent de restituer les contours de cette ancienne forteresse médiévale.