Fondée entre 1250 et 1259 par Alphonse de Poitiers, Saint-Pastour est une bastide aux remparts de la seconde moitié du 13e siècle. Son château, construit à la même époque, forme un quadrilatère renforcé de trois tours pourvues d'embrasures de tir. Largement remanié au 16e siècle, il a perdu son couronnement originel.

La cité a connu une histoire mouvementée. Longtemps pro-anglaise, elle bascule dans la résistance dès les années 1350. Les guerres de Religion la déchirent : en 1569, le maréchal de Monluc l'emporte face au capitaine protestant Arnaud de Clermont. Armand de Gontaud Biron s'en empare en juillet 1580, massacrant les défenseurs huguenots avant de perdre la place. La Fronde la soumet à nouveau aux canons royaux en 1652.