Édifié en 1624 par l'architecte Gratien de Lerm, le château de Poyanne remplace une forteresse médiévale fondée en 1206 sur un site déjà occupé par les Romains. L'édifice se compose de cinq pavillons, le pavillon central étant en saillie. Sa silhouette caractéristique est soulignée par une toiture en dôme couronnée d'un belvédère. Trois étages, marqués par des bandeaux horizontaux, s'ornent de frontons et de denticules. La façade nord, en raison de la pente du terrain, en compte quatre. À l'intérieur, le premier étage conserve l'ancienne salle de réception avec son plafond à caissons dorés et peints, et sa monumentale cheminée en bois sculpté. Le pavillon oriental, probablement bâti sur les ruines de la forteresse primitive, est antérieur aux autres pavillons. Les deux pavillons ouest semblent être des ajouts postérieurs.