Le château de Palaminy occupe l'angle nord-ouest de la bastide fondée vers 1250-1260 par Sicart-Aleman, sénéchal du comte de Toulouse. Ses murs intègrent l'enceinte primitive de la place forte. L'édifice forme un quadrilatère irrégulier flanqué de tours massives aux angles, à l'exception de l'angle sud-est où s'élève une tour en encorbellement du 17e siècle. Du Moyen Âge au 17e siècle, les façades se sont enrichies de percements successifs. À l'intérieur, les pièces de réception et l'escalier sont ornés de lambris du 19e siècle, tandis que la chambre de la marquise conserve une tenture de soie rouge du 18e siècle. Le jardin à la française d'origine a cédé la place en 1878 à un parc à l'anglaise, restauré en 1912. L'ensemble se complète par deux maisons anciennes : La Roucat et la maison du Tilleul, remarquable pour ses corondages.