Le château de Pouylebon conserve un témoignage remarquable de son passé médiéval : la porte du 13e siècle, unique vestige du château primitif. Cette entrée fortifiée présente une architecture défensive sophistiquée. De l'intérieur, elle offre une voûte en plein cintre reposant sur deux piédroits de pierre, tandis qu'une rainure rappelle la présence d'une herse. Une meurtrière aménagée au-dessus de la voûte complétait ce dispositif de défense. Côté extérieur, l'arc adopte la forme brisée caractéristique de l'époque. Le reste du château actuel et l'église paroissiale ont été reconstruits à partir des matériaux du château médiéval disparu.