Le château de Pujols a connu des vicissitudes guerrières : pris par l'armée française en 1338, il devint possession anglaise en 1417. De sa structure originelle subsistent les traces d'une forteresse polygonale aux murailles renforcées de gros contreforts, la plupart couronnés d'échauguettes. Le cœur du château abritait une vaste cour flanquée de tours carrées et de bastions, aujourd'hui disparus. Un grand corps de logis y était adossé. Les accès défendus incluaient une porte principale reliée à la ville par un pont, une poterne ogivale à l'ouest précédée d'un pont de bois, et un moucharabis au nord-est destiné à surveiller une poterne ou une fenêtre. Les murs sud et une partie des façades ouest sont ruinés au niveau du sol. La basse-cour et les ouvrages avancés ont cédé la place à la place du bourg actuel.