Édifice aux origines médiévales, le château de Clermont conserve une tour du 13e siècle abritant une chapelle. Gravement endommagé pendant la guerre de Cent ans, il a été reconstruit à la fin du 15e ou au début du 16e siècle. La Révolution l'a pillé et transformé en carrière de pierre, causant la destruction d'une grande partie de la structure. Des restaurations entreprises au 19e siècle ont sauvé la tour carrée et la porte du corps de logis.

Le château épouse un plan quadrilatéral flanqué de quatre tours rondes, dont les élévations inférieures subsistent. Une courtine s'élève au nord-est, contre laquelle s'adossent de petits bâtiments postérieurs. Le corps de logis principal, dont les travaux du 16e siècle restent visibles, fait face à cette courtine. Les deux autres côtés du quadrilatère étaient occupés par des bâtiments aujourd'hui disparus. Des écuries construites après la Révolution, reliées au logis principal par une tour d'escalier carrée, occupent le côté sud-est. L'édifice conserve son caractère défensif malgré les ravages des siècles.