Ancienne possession des Talleyrand de Périgord depuis le 11e siècle, ce château a connu plusieurs phases de transformation. Le corps de logis principal, disposé en U au fond de la cour, remonte aux 15e et 16e siècles. Une imposante tour carrée s'élève au sud-ouest de l'aile orientale, datant de la fin du 16e siècle. Au 18e siècle, l'ensemble a reçu des toitures mansardées refaites. L'aile nord, qui abrite le châtelet d'entrée, a été reconstruite à la fin du 19e siècle, peu avant que la famille ne lègue le château à l'hospice de la ville en 1883. À l'intérieur, malgré le départ du mobilier, subsistent les témoins de son passé : cheminées, boiseries, dessus-de-porte peints, alcôves et plafonds à poutres apparentes, certaines ornées de traces de décor peint.