Perchée à l'entrée des gorges de la Rivière de Mantet, la Roca d'Anyer est une forteresse primitive édifiée sur le roc naturel lui-même, dont les escarpements formaient sa première défense. Ses éléments les plus anciens, notamment la tour carrée, remontent au 10e siècle. Cette tour, renforcée à sa base par un talus de pierres, est pourvue d'archères très courtes distribuées une par niveau selon l'axe des façades. Les salles superposées, sans escalier, témoignent d'une architecture strictement défensive.

Au 14e siècle, le site passa à la maison de Banyuls. Progressivement abandonné aux 15e-16e siècles, ses matériaux furent réemployés pour la chapelle voisine de Notre-Dame de la Roca. À cette même période, un mur d'enceinte avec chemin de ronde fut accolé à la tour ancienne. Le château conserva ses attributs défensifs et accueillit sans doute une petite garnison durant les périodes de troubles, bien qu'il ait cessé de servir de résidence seigneuriale.