Entre 1563 et 1578, Antoine II de la Tour, chef de la Ligue en Velay, a transformé le château médiéval de Saint-Vidal en forteresse d'exception. Face à la menace des armes à feu, il a systématiquement modernisé la défense : meurtrières adaptées aux différentes armes, glacis renforçant les murailles contre les tirs de canon, tour donjon ajoutée à l'angle sud-ouest. Ces aménagements, guidés par les traités d'architecture militaire les plus avancés du temps, font de Saint-Vidal l'ensemble fortifié le plus important de la région pour l'époque des guerres de Religion. Les communs et la courtise sud complètent ce dispositif de défense cohérent, témoignage rare de l'adaptation réussie du château fort aux mutations de l'artillerie.