Aux abords de l'église de Sauviat se dressent les vestiges d'un château fort médiéval. Deux tours subsistent de cette forteresse autrefois implantée au sud du sanctuaire, accompagnées de fragments de muraille qui témoignent de son ancienne ampleur. Ces ruines permettent encore de percevoir l'importance de cette construction défensive du Moyen Âge.