Édifié entre le 15e siècle et le 17e siècle, ce manoir allie élégance résidentielle et vocation défensive. Son plan classique régional associe un corps de logis rectangulaire à deux tours rondes au sud. Deux tours carrées fermaient autrefois la cour et la porte d'entrée, surmontée de machicoulis et percée de quatre canardières ; l'une subsiste encore, tandis que sa jumelle s'est effondrée au début du 20e siècle.

À l'intérieur, des plafonds à solives peintes de la fin de la Renaissance ornent le premier étage, décorés de motifs fleuris en cartouches à fonds alternativement noirs et blancs. Le comble révèle une remarquable charpente en carène de navire assemblée à chevilles de bois. Une ancienne tour de l'enceinte défensive a été transformée en pigeonnier.

Unique édifice fortifié subsistant de ce secteur, Rilhat demeure un témoin de l'époque troublée où s'y déroula en 1568 la bataille de Cognat-Lyonne, qui opposa Catholiques et Protestants et dévasta la région.