Édifié au début du XIIIe siècle selon le plan quadrangulaire caractéristique de l'architecture philippienne, le château de Saint-Gervazy a conservé de cette époque sa remarquable tour sud-ouest. Celle-ci mérite une visite attentive : son dernier niveau arbore une rare rangée d'archères « en rame », tandis que la salle seigneuriale du troisième étage surprend par un décor original de chapiteaux et de clés de voûte ornés du motif du créquier. Les autres tours d'angles et les logis est et ouest ont été édifiés aux XIVe ou XVe siècles. Le XVIIe siècle a apporté sa contribution avec la construction du logis sud et l'abattage du mur d'enceinte nord, qui ouvraient désormais la perspective vers le village.