Le château fut une importante forteresse entourée de courtines et d'échauguettes. En 1357, les Anglais s'en emparèrent. Durant les guerres de Religion, il servit de repaire au capitaine Puymartin, chef catholique qui reprit Sarlat aux Calvinistes en 1534. L'accès à la cour intérieure se fait par un châtelet. Les deux corps de logis des 15e et 16e siècles sont soudés par deux tours à mâchicoulis accostées d'une poivrière contenant un escalier à vis de Saint-Gilles. La partie ancienne est terminée par un chemin de ronde avec trous à couleuvrines. Une grande salle conserve un belle cheminée et des tapisseries. Poutres peintes au pochoir. Le cabinet lambrissé qui fait suite est peint en trompe l'oeil de sujets païens et chrétiens. Ces peintures à la colle, traitées comme des fresques, doivent dater du début du 17e siècle.