Né d'un prieuré grandmontain fondé vers 1140-1145, le manoir des Vayssières connaît une histoire tourmentée. Après son rattachement au prieuré de Francou en Quercy, il est abandonné dès 1370 et tombe en ruine. Au 15e siècle, un petit repaire noble est construit à proximité des vestiges, destiné à offrir une protection contre les pillards. Le bâtiment s'organise autour d'une cour : un corps de logis flanqué de deux pavillons en retour encadrent la façade principale, tandis qu'une muraille fermait autrefois le quatrième côté. Une tour ronde abrite l'escalier au centre de la façade ; une seconde tour renforce l'angle sud-ouest. Au 18e siècle, la façade postérieure et la tour d'angle sont perforées de nouvelles ouvertures. L'intérieur conserve de beaux plafonds peints de cette époque, ornés de rinceaux et feuillages en grisaille sur fond jaune pâle.