Le château d'Ajat date des 16e et 17e siècles. Bien que la tradition locale prétende à des origines bien plus anciennes — remontant même aux Templiers et à une ancienne connexion avec l'église — aucune construction n'atteste une occupation antérieure au 16e siècle.

L'édifice se compose de deux corps de logis articulés autour d'une cour intérieure. Le principal, aligné sur l'église, communique avec un pavillon par une galerie à double étage qui ferme la cour à l'ouest. À l'est s'élève un ancien mur de défense. Un imposant escalier à la française fait saillie dans la cour, complétant l'ensemble.

Les façades se signalent par des mâchicoulis qui les couronnent entièrement. L'intérieur, bien conservé, révèle des plafonds à solives apparentes et des boiseries du 17e siècle qui témoignent du soin apporté à cet aménagement.