Aux 10e et 11e siècles, Exmes s'affirme comme place forte de la région normande. Un château médiéval y est édifié, ceinturé de murailles défensives qui renforcent cette position stratégique. Cet ensemble fortifié disparaît lors des guerres de Religion, qui le détruisent et marquent la fin du rôle militaire d'Exmes. Les vestiges subsistants témoignent de ce passé de ville forte, aujourd'hui révolu.