Le château de Serres présente un plan carré défendu par deux tours carrées aux angles nord et sud, complétées par des échauguettes en encorbellement. La tour nord a conservé l'intégralité de ses cinq étages et porte les marques des évolutions militaires du 16e siècle : une canonnière rectangulaire et une embrasure à mousquet flanquent sa courtine nord-ouest. L'entrée principale, percée dans la courtine sud-est, était protégée par une bretèche toujours visible. Contre la tour nord subsiste l'amorce d'une ancienne porte d'enceinte disparue. Les gros œuvres des tours et de l'échauguette ouest remontent probablement à la fin du 16e ou au début du 17e siècle, tandis que les deux tours carrées et certains éléments défensifs sont plus anciens. De nombreuses reprises de maçonnerie témoignent d'une importante restauration au 16e siècle. Autrefois seigneurie de l'évêque d'Alet, le château fut par la suite cédé à des particuliers.