Forteresse fondée par Foulques Nerra au Xe siècle, Montrésor fut démantelée en 1203 avant d'être reconstruite en 1393 à la demande de Jean IV de Bueil. L'entrepreneur Jean Binet en signa les travaux, édifiant le mur d'enceinte, le châtelet d'entrée et les communs actuels.

En 1493, Ymbert de Bastarnay, conseiller de Louis XI, acquiert le château et le transforme radicalement : il ajoute une collégiale et fait bâtir une nouvelle demeure. Le long corps de logis qui épousait le coteau a vu ses ailes latérales disparaître au XIXe siècle ; seule la partie centrale subsiste.

C'est en 1849 que le comte polonais Xavier Branicki en devient propriétaire. Il restaure l'enceinte, aménage les communs et donne au château son allure néo-gothique actuelle. Passionné d'histoire polonaise, il le remplit de collections et de souvenirs. Ses descendants demeurent toujours dans les murs, préservant l'atmosphère romantique du XIXe siècle et son parc paysager.