Mentionné dès le 12e siècle comme possession des seigneurs de Noblat, Rigoulène devient en fin de 15e siècle la demeure de Mathieu Dalesme, marchand et bourgeois de Saint-Léonard. C'est à cette époque que s'élève le manoir actuel.

L'édifice adopte un plan original : deux corps de bâtiment parallèles encadrent une cour intérieure, fermée à l'est par un mur percé d'un large portail, à l'ouest par une galerie de communication. Une tour circulaire au nord renferme un escalier en vis. Le sud abrite l'ancienne chapelle, construction rectangulaire qui conserve aujourd'hui une majestueuse cheminée Renaissance provenant de l'abbaye de Grandmont, rapportée à la fin du 18e siècle par l'architecte Brousseau lors de la démolition du monastère.

Les pièces de réception et de service ouvrent sur la cour au rez-de-chaussée. Les deux étages abritent les chambres. Un ancien salon du rez-de-chaussée conserve ses lambris peints à la détrempe, polychrome sur fond gris, datant du 18e siècle.