Montrésor est une des places fortes dont la fondation est attribuée à Foulques Nerra, qui y aurait fait construire par son capitaine, Roger dit le petit diable, une forteresse sur le promontoire rocheux dominant le val de l'Indrois pour interdire l'accès des plateaux. Démoli à partir de 1203, le château est reconstruit en 1393 pour Jean IV de Bueil par l'entrepreneur Jean Binet (mur d'enceinte, chatelet d'entrée, actuels communs). Ymbert de Bastarnay, conseiller de Louis XI, l'acquiert en 1493. Il fait construire la collégiale et transforme la forteresse en y faisant construire une nouvelle demeure. Le bâtiment se composait alors d'un vaste corps de logis qui s'étendait le long du coteau. Il n'en reste que la partie centrale, les deux parties latérales ayant été démolies dans la première partie du siècle dernier. Le château est enfin acquis en 1849 par le comte Xavier Branicki, d'origine polonaise ; ses descendants y demeurent encore aujourd'hui. X. Branicki s'est employé à restaurer le mur d'enceinte, a remodelé l'intérieur des communs et a modifié l'enveloppe du château, lui conférant un aspect néo-gothique. Il l'a meublé de collections et souvenirs de l'histoire polonaise. Ses successeurs ont conservé à l'édifice son décor du 19e siècle dans le goût Troubadour, dans un parc paysager.