Mentionné pour la première fois en 1030, le château de Saint-Ilpize s'élève sur une butte dominant les gorges de l'Allier. Cette forteresse des Dauphins d'Auvergne était autrefois protégée par plusieurs enceintes successives, flanquées de tours, qui enserraient les basses-cours et la ville jusqu'à l'Allier au 16e siècle. Aujourd'hui, seule l'enceinte supérieure conserve une structure homogène au sommet du site. On y accède par une rampe nord depuis la place de l'église, franchissant plusieurs chicanes et bastions avant d'atteindre la cour basse par une porte en arc brisé. L'ancienne chapelle et une tour carrée transformée en clocher dominent les murailles. En contrebas, l'enceinte inférieure est garnie d'une petite tourelle appelée épaulette. Le logis seigneurial, édifié contre la partie sud de l'enceinte, témoigne de l'ampleur passée de cette place forte, construite et aménagée entre le 11e et le 16e siècle.