Le château d'Estaing domine le bourg depuis le 15e siècle. Construit et remanié aux 15e et 16e siècles, il conserve des traces de cette longue histoire médiévale et Renaissance. La Révolution n'a pas épargné le monument : écussons grattés, pillages et confiscation des bâtiments marquent cette période troublée. Au 19e siècle, le château change de vocation en accueillant les sœurs Saint-Joseph à partir de 1836. Une chapelle est édifiée en 1930 près de celle des anciens seigneurs, datée du 15e siècle. Après 1945, il devient maison de retraite pour religieuses. L'édifice se compose de bâtiments de hauteurs variées organisés autour d'une terrasse, témoignant de plusieurs campagnes de construction et d'adaptation.