Le château des barons d'Espelette a connu deux vies distinctes. La première forteresse, édifiée vers 1480, était une impressionnante structure polygonale flanquée de cinq tours semi-circulaires, conçue pour résister à l'artillerie naissante. Détruite vers 1640 en représailles d'une trahison, elle a été remplacée par un logis au 17e siècle. Légué à la paroisse en 1694, le château occupait autrefois tout le quartier environnant.

Aujourd'hui, il en subsiste peu : une tour d'angle de plan barlong aux trois niveaux marqués de bandeaux horizontaux, où s'ouvrent des bouches à feu au nord-ouest. Une échauguette partiellement détruite orne le second niveau. Le corps de logis adjacent conserve au sud un long fragment de muraille, tandis qu'au nord apparaissent des frontons triangulaires du milieu du 17e siècle. L'entrée principale, au centre, est encadrée de pilastres. Ces vestiges témoignent des transformations successives du site, du 16e au 17e siècle.