Le château de Sarremezan est un édifice composite qui témoigne des transformations successives du site. Au cœur du monument se dresse une imposante tour polygonale du 15e siècle, dont les baies gardent les marques distinctives de cette époque médiévale. Une petite aile en retour, contemporaine de la tour, complète l'ensemble du 15e siècle. Le bâtiment a été partiellement restructuré aux 18e ou début 19e siècle avec l'ajout d'une nouvelle construction. Ces vestiges appartiennent à un ancien château-fort dont la courtine et plusieurs dépendances ont disparu. À l'intérieur de la tour s'enroule un escalier à vis. La façade ouest frappe par son ornementation soignée : la porte s'encadre d'une accolade à crochets finement bordée de pinacles, signature de l'architecture flamboyante du Moyen Âge tardif.