Du château-fort édifié au 13e siècle par les vicomtes d'Aulnay, seul subsiste le donjon. Cette tour a traversé les grands conflits qui ont ravagé la région : occupée par les Anglais pendant la Guerre de Cent ans, elle fut assiégée et prise par Du Guesclin. Disputée entre Protestants et Catholiques lors des guerres de Religion, elle accueillit même Louis XIII. Le bâtiment s'est progressivement ruiné à partir du 17e siècle, servant de carrière de pierre à la Révolution. Une seconde tour, la tour Saint-Louis, existait encore vers 1820. Le donjon conserve un rez-de-chaussée ayant servi de prison communale, deux étages voûtés en coupole, et les vestiges d'un chemin de ronde à son sommet.