Tour-porte du dernier quart du 15e siècle, le château de Peyrat conserve le souvenir des anciennes fortifications urbaines. Édifice de plan carré élevé sur cinq niveaux, dont une cave, il s'organise autour d'un escalier à vis logé à l'angle sud-ouest. Ses façades nord et sud s'ouvrent chacune d'une large porte en arc brisé et de fenêtres à coussièges à chaque niveau. Des latrines en encorbellement animent la façade ouest.

L'intérieur a préservé son aménagement originel : salle dallée de granit au premier étage avec poutraison apparente, cheminées aux trois niveaux habitables, et latrines d'angle. Au 16e siècle s'ajouta un corps de logis rectangulaire, adossé à un fragment du mur d'enceinte antérieur et remanié au 18e siècle. La tour et ce logis communiquent par les caves et le premier étage, bien que des modifications modernes aient transformé les distributions intérieures.