Édifié au début du 11e siècle par le comte d'Anjou Foulques Nerra, le château de Passavant occupait une position stratégique face au Poitou, sur les hauteurs du Layon. Détruit, il renaît après 1210 avec une enceinte flanquée de tours. Le 15e siècle voit l'adjonction d'un imposant logis doté d'une haute tour d'escalier. Les huguenots le ravagent en 1574. Par la suite, le château ne connaît qu'une occupation intermittente : un nouveau logis s'y élève au 18e siècle, puis vers 1930, le site se transforme en maison viticole avec celliers. Ces réaménagements successifs, bien que modestes, ont paradoxalement préservé les vestiges de la ruine complète.