Bourganeuf conserve les vestiges d'une forteresse édifiée à la fin du XVe siècle par les chevaliers de Malte, qui y établirent le siège de leur Langue d'Auvergne. Trois tours subsistent, reliées partiellement par des courtines, témoins de cette présence militaire et religieuse.

La tour de Lastic, du nom d'un grand maître de l'ordre, domine l'ensemble. Mais c'est la tour Zizim qui porte l'histoire la plus singulière : elle a servi de prison au prince ottoman Djem, fils de Mahomet II, entre 1482 et 1488. Vaincu par son frère Bajazet II, ce prince se rendit au grand maître Pierre d'Aubusson pour échapper à la mort. La tour, composée d'un rez-de-chaussée, de quatre étages en maçonnerie et d'un dernier étage de combles percé de mâchicoulis, rappelle cette captivité diplomatique qui fit de Bourganeuf un enjeu de la politique méditerranéenne du XVe siècle.