Ancienne baronnie relevant directement du la couronne depuis 1221, le château de Margon révèle les différentes phases de son histoire dans son architecture. Ses deux ailes latérales, construites de 1512 à 1520, encadrent une cour orientale. Le corps principal, flanqué de trois tours, s'organise autour d'un large escalier en vis logé dans la tour Est. Au rez-de-chaussée, trois grandes salles en enfilade se succèdent, dont un grand salon orné d'un plafond à la française. Le petit salon de la tour nord-ouest conserve ses décors du 18e siècle : peintures d'oiseaux exotiques, paysages et scènes champêtres. Pendant les guerres de Religion, la tour servit de prison. En 1719, des arceaux jetés sur les fossés permirent une communication directe avec le parc, développé à l'ouest en terrasses et escaliers à volées divergentes. Le château porte les cicatrices de 1793, bien que son chemin de ronde et ses consoles défensives subsistent en bon état.