Ancienne possession des Talleyrand de Périgord depuis le 11e siècle, ce château a connu plusieurs phases de transformation. Le corps de logis principal, édifié aux 15e-16e siècles selon un plan en U, s'organise autour d'une cour. Une imposante tour carrée, construite à la fin du 16e siècle, en renforce l'angle sud-ouest. Le 18e siècle a apporté des toitures mansardées qui ont été refaites à cette période. L'intérieur conserve des témoins précieux de son passé : cheminées, boiseries, dessus-de-porte peints, alcôves et plafonds à poutres apparentes dont certaines gardent des traces de décor peint. L'aile nord, qui abrite le châtelet d'entrée, a été reconstruite à la fin du 19e siècle, peu avant que la famille Talleyrand ne lègue le château à l'hospice de la ville en 1883.