L'édifice est bâti sur un éperon rocheux qui dominait, au sud, la Garonne ; à l'ouest, le Charros. Il se composait d'un quadrilatère flanqué à chaque angle d'une tour. La partie conservée du château des Quatre Sos (4 soeurs) date de la fin du 13e siècle. Il subit un siège en 1345 et fut démantelé vers 1629 sur les ordres de Louis XIII. Il conserve des restes intéressants de fortifications militaires, en particulier la tour située au sud-ouest, dite "La Thomasse" (ancien donjon) qui contient, dans les aménagements de ses trois étages, toute une série de systèmes militaires de protection médiévale. La poterne était située sur la lice sud. Dans le rempart ouest, une galerie est percée d'un trou pour le tir d'une pièce d'artillerie.