L'édifice appelé Château est l'ancien prieuré de l'abbaye du même nom. Le prieuré bénédictin fut fondé au 10e siècle et érigé en doyenné par Cluny en 1295. Le château constituait les appartements privés du doyen. Sa façade a été reconstruite sur les anciens remparts, à la Renaissance, et accolée au flanc nord de l'église. Deux tourelles en encorbellement en flanquent les angles. A la suite, vers l'est, subsiste une partie des remparts du 12e siècle et, vers l'ouest, l'ancienne porte ogivale de l'abbaye donnant accès au porche de l'église. Cette porte est défendue par une série de mâchicoulis desservis par une salle haute dépendant du prieuré. De l'intérieur du château, un escalier à vis conduit à une tour élevée, dite tour de Télémaque. Cette tour rectangulaire est desservie par un second escalier à vis accolé à la façade Est. Le bâtiment attenant est caractéristique par ses baies sculptées à meneaux. Un contrefort carré à la base, évidé à l'intérieur, supporte une sorte de pavillon ouvert dénommé "Bretèche" ou tribune aux harangues. La propriété du prieuré (anciennement propriété de l'Etat, ministère de la culture) a été transférée à la commune par convention signée le 24 août 2007.