Édifié progressivement du 14e au 17e siècle, le château de Grandlac s'élève sur la rive sud du Tarn, qui baigne sa façade méridionale. Son plan sensiblement carré, autrefois cerné d'un fossé, s'articule autour de quatre tours : deux tours circulaires aux angles nord encadrent une tour carrée plus haute, tandis qu'une quatrième tour carrée occupe l'angle sud-ouest, ajoutée au 17e siècle. Au sud-est, une tour en fer à cheval se relie à la façade sud par un pan coupé original.

Le château doit beaucoup à ses restaurations des 19e et 20e siècles, qui ont refait ses superstructures, mais sa structure d'origine demeure intacte sous ces ajouts. L'intérêt majeur du lieu réside dans la tour sud-ouest : elle renferme un cabinet peint signé Prunier et daté de 1637, connu sous le nom de cabinet des Nymphes du Tarn. Son plafond, divisé en huit panneaux, présente autant de portraits féminins en médaillon. Ce décor constitue un témoignage précieux de l'ornement maniériste français du 17e siècle.