Édifié à la fin du XVe siècle ou au début du XVIe siècle sur un éperon rocheux, le château de Serre domine majestueusement la vallée de la Vienne et le Confolentais. Son plan en équerre s'articule autour d'une tour d'angle renfermant un escalier à vis, dont la porte s'orne d'un arc en accolade surmonté d'un écu.

L'aile gauche a conservé peu de modifications depuis sa construction originelle : fenêtres à meneaux, cheminées et plafonds à poutres peintes témoignent de cette ancienneté. Une pièce remarquable garde ses peintures murales, probablement du XVIe siècle. L'aile droite, entièrement remaniée au XVIIe siècle, abrite la chambre du duc de Vivonne avec son alcôve et son baldaquin aux peintures d'époque préservées.

Le château a accueilli la marquise de Montespan. Vendu comme bien national à la Révolution, il reste attaché à l'histoire de l'Angoumois. Une cave voûtée subsiste sous la partie nord ; la chapelle castrale a en revanche disparu.