Le château des Grimardies présente une architecture caractéristique de son époque de construction échelonnée. Son noyau ancien, datant du 17e siècle, est constitué d'un long bâtiment central. Au début du 18e siècle, deux ailes en retour ont été adjointes, encadrant une cour intérieure que ferme un portail. L'intérieur conserve remarquablement ses décors d'époque : boiseries, cheminées, dessus de portes peints et ferronneries témoignent du soin apporté à la finition du bâtiment.