Forteresse médiévale édifiée progressivement à partir du 12e siècle, le château des comtes de Lallaing a dominé le site pendant plusieurs siècles. Siège principal de la puissante famille de Lallaing, ses murs englobaient l'église même du village. À la fin du Moyen Âge, le château présentait une silhouette imposante : une enceinte polygonale crénelée flanquée de quatre tours cylindriques, le tout commandé par un donjon carré du 12e siècle. Ce dernier fut aménagé au 16e siècle de quatre travées de fenêtres à meneaux côté sud-est ; une tourelle carrée supplémentaire s'élevait à l'angle nord-ouest.

Passé à la famille d'Arenberg au 17e siècle, le château subit gravement les guerres de Louis XIV. Son déclin s'accéléra par la suite. Bien que la majeure partie de la structure ait disparu lors de la construction d'un nouvel hôtel de ville en 1959, le pont et la porte d'entrée originels subsistent, intégrés au parc municipal où s'élève un pilori ancien.