Fondé en 1234 par le comte Raymond VII pour accueillir les populations errantes de la région d'Albi, Castelnau-de-Lévis naquit comme bastide fortifiée. Le château devint le siège de la seigneurie qui, en 1320, entra dans la famille de Lévis par mariage. Intact au début du 19e siècle, il fut transformé en carrière après sa vente en 1818. Subsistent aujourd'hui la porte d'entrée avec sa tour de flanquement, les vestiges d'un bâtiment contenant plusieurs salles ornées de peintures décoratives du 16e siècle, ainsi qu'une tour carrée complétée d'une tour demi-circulaire abritant à chaque niveau une loge de guetteurs.