Le château de Brignac s'est construit progressivement du 15e au 18e siècle. Son élément majeur demeure la tour du 15e siècle, dont la porte d'accès en anse de panier porte l'inscription gravée : « fait par P. de Brignac et Pétronille de Robien, l'an 1509 ». Un escalier à vis en pierre dessert trois salles superposées, les deux inférieures dotées de fortes poutres sculptées. Les cheminées monumentales en granit marquent chaque niveau ; celle du premier étage se distingue par sa décoration élaborée, avec triple bandeau et trace de colonnes sculptées. La tour conserve son chemin de ronde et ses mâchicoulis. La porte intérieure, en menuiserie à petits compartiments, s'enrichit de huit panneaux sculptés de petits personnages. Des baies percent la tour à chaque révolution d'escalier, donnant sur la cour. Les constructions plus récentes du 18e siècle prolongent l'édifice avec leurs propres cheminées en granit.