Au Moyen Âge, Mouret était gardée par quatre châteaux de co-seigneurs reliés par une enceinte circulaire de murailles et de fossés. Seul subsiste le château de la Servairie, bâti sur un donjon du 12e siècle puis agrandi aux 15e et 16e siècles. Son sommet conserve des consoles qui supportaient autrefois des mâchicoulis. À l'ouest s'adosse un logis de trois étages percé de baies à meneaux, cantonnée au sud-ouest d'une tour carrée aux corbeaux apparents. Un escalier en vis, logé dans une tour éclairée par une porte en plein cintre richement encadrée, distribue l'ensemble. Une petite tourelle ronde sur trompe complète ce dispositif à l'angle de la façade supérieure. L'intérieur abrite deux cheminées du 17e siècle. L'entrée originelle du donjon s'ouvrait au premier étage, détail caractéristique des fortifications médiévales.