Édifié aux 14e et 15e siècles, le château de la Poivrière a conservé l'essentiel de sa structure médiévale malgré les transformations des siècles suivants. Ses percements ont subi des modifications mineures, tandis que des aménagements de la fin du 15e siècle et du 18e siècle ont progressivement effacé son caractère militaire originel. Le monument doit son aspect actuel à ces évolutions successives, à l'exception notable d'une tourelle de style néo-gothique ajoutée au 19e siècle dans l'angle Est de la cour, qui contraste avec l'architecture médiévale environnante.