Le château de Cognac-la-Forêt occupe une position remarquable, juxtaposé à l'église paroissiale qui en fut autrefois la chapelle castrale. Château et église partagaient une vaste plate-forme protégée par un large fossé. La seigneurie remonte au 13e siècle. L'édifice est composite, résultant de plusieurs phases de construction et de modifications successives. Sa part la plus ancienne subsiste dans la tour carrée, dont la maçonnerie en granit de bel appareil reste largement visible sur sa façade occidentale.