Édifiée au 15e siècle, la citadelle de Verfeil s'élève en briques rouges, dans un style qui rappelle l'architecture catalane. Ses grands murs quasi lisses, percés de rares fenêtres en partie haute, dominent un glacis défensif caractéristique. Cette forteresse s'inscrivait dans un ensemble fortifié plus vaste, dont l'église voisine formait l'un des bastions. Un château occupait déjà le site lors des guerres des Albigeois : Simon de Montfort l'offrit à l'évêque de Toulouse en 1214. La citadelle actuelle en est probablement l'héritière, profondément remaniée au 15e siècle par l'archevêque Pierre Dumoulin (1439-1451).