Mentionné pour la première fois en 1130, le château de Rabestan a connu une histoire tumultueuse. Entre 1430 et 1440, il fut presque entièrement rasé lors d'un siège ; seul le donjon subsista partiellement. Les guerres de Religion ont achevé la destruction : en 1558, les protestants incendièrent les bâtiments agricoles et pillèrent le mobilier. En 1589, les troupes de Henri de Navarre réduisirent à nouveau le château en ruines.

Reconstruit au XVIIe siècle, il comprenait alors un nouveau pavillon carré à l'emplacement du donjon, ainsi qu'un bâtiment principal doté d'un escalier à vis et d'une tourelle. Un second bâtiment abritait la salle de justice, les archives et la chapelle, disparu vers 1858.

Aujourd'hui subsistent les murs extérieurs avec leurs douves, deux tourelles d'angle, un puits et l'arase du château. Au sud, les vestiges d'une motte féodale rappellent les origines médiévales du site.