Mentionné dès 1135, ce château aurait accueilli Richard Cœur de Lion lors de l'occupation anglaise de Moissac. De plan rectangulaire, il s'organise autour d'une cour ouverte au sud et comprend un corps de logis au nord flanqué de deux ailes. L'ensemble, édifié à partir de la deuxième moitié du 13e siècle, se distingue par ses quatre tours d'angle aux fortifications élancées, couronnées de chemins de ronde accessibles par des portes en sommité. Une imposante tour carrée (donjon) occupait autrefois l'angle sud-est avant sa démolition en 1849. L'aile occidentale, attribuée à Bertrand de Montaigu, et l'aile orientale conservent un caractère défensif affirmé malgré les transformations ultérieures. Au 14e siècle, Aymeric de Peyrac y rédigea sa Chronique de Moissac. Des percements successifs depuis le 17e siècle ont partiellement modifié la façade du grand mur.