Édifié du 12e au 13e siècle, le castellas de Saint-Victor-la-Coste témoigne d'une occupation fortifiée complexe et progressive. La chapelle, construite au 12e siècle, demeure l'ultime vestige du premier château. Après leur destruction vers 1250, les fortifications ont été reconstruites aux 13e et 14e siècles. Le site conserve l'empreinte de cinq enceintes superposées : le château et sa propre enceinte, l'enceinte de l'avant-cour, une troisième ligne fortifiée sur la colline reliée au nord du village actuel, une quatrième épousant l'ancienne église, et enfin le rempart villageois avec ses tours médiévales. Les nombreux pillages ont dépouillé le site de ses pierres de grès rose, autrefois appareillées pour les arcs doubleaux et les ouvertures, dont il ne subsiste que les traces.