Édifié aux 15e et 16e siècles, le château de Pennevayre a marqué l'histoire locale dès le 15e siècle : en 1463, Louis XI y a séjourné lors de son trajet de Limoges à Saint-Junien, y soupant et couchant. Une famille aristocratique y est établie depuis 1212.

Le bâtiment conserve une architecture caractéristique : un corps de logis flanqué de deux pavillons au nord, complété d'une aile en retour à l'ouest qui s'achevait autrefois par une tour ronde, dont on voit encore les traces. Remanié au 16e siècle, l'ensemble a gardé son unité d'édifice malgré les modifications, notamment l'abaissement de la toiture du pavillon Est lors d'une restauration vers 1955.

À l'intérieur, la chambre dite de Louis XI abrite une belle cheminée du 15e siècle. Deux salles du 16e siècle présentent des poutres moulurées ornées de motifs de cuirs, probablement peints à l'origine.