Ancien fief du château de Loches, ce château a pris sa forme actuelle entre le 14e et le 16e siècle. Jean du Puy, qui l'occupait en 1449, y obtint le droit de fortifier les lieux. Son successeur, Adam Fumée — premier médecin de Charles VII et Louis XI — l'acquit en 1488, marquant l'entrée de la demeure dans l'orbite royale.

La tour circulaire qui flanque l'édifice à l'est demeure le témoin majeur de cette histoire. Édifiée au 14e siècle en petit appareil, elle s'élève sur quatre étages originaux, enrichis au 16e siècle de bandeaux moulurés. Son portail en plein cintre, encadré de pilastres et surmonté d'un fronton triangulaire, en commande l'accès. À l'intérieur s'épanouit un spectaculaire escalier à vis. Le dernier étage, ajouté ultérieurement, se pare d'une élégante couverture en dôme à écailles d'imbrication, couronnée d'un lanterneau.

Au sud, une tour carrée servait de pigeonnier : ses parements conservent 1600 boulins carrés creusés pour loger les oiseaux. Très restauré au 19e siècle, le château n'en reste pas moins un précieux témoignage du passage de l'architecture militaire à la demeure aristocratique.