Le Grand-Saint-Quentin a connu une longue histoire avant sa forme actuelle. Dès le début du 12e siècle, un château s'élevait déjà sur ce site – peut-être une simple tour de bois – résidence du premier seigneur de Saint-Quentin. C'est au 16e siècle que le manoir a été entièrement reconstruit. Le bâtiment se termine à l'ouest par une tourelle et à l'est par une tour carrée. On discerne encore les traces d'une ancienne tourelle qui épousait autrefois la muraille, reposant sur un cul de lampe.