Le château de Vayres témoigne de plusieurs siècles de transformations. Son noyau médiéval remonte à 1392 : deux tours encadrant le logis principal subsistent de cette époque de château fort. Au 16e siècle, l'édifice a été profondément reconstruit. Le 17e siècle a apporté restaurations et décor, période dont témoigne le pigeonnier édifié en 1656. Ces différentes campagnes de travaux ont façonné l'aspect actuel du château.