Édifié directement sur le rocher, le château de Paulin présente une architecture composite : l'aile ouest, la plus ancienne (15e-16e siècles), se distingue par sa tour d'angle et ses caves voûtées. Au premier étage, une cheminée gothique subsiste. Un escalier remarquable, dont un palier est orné de voûtes d'ogives bombées, montre le soin apporté aux détails. Plusieurs canonnières percent la façade sud, témoins des préoccupations défensives de l'époque. Les deux ailes, mal reliées entre elles, révèlent des étages qui ne correspondent pas. La porte actuelle date du 18e siècle, quand elle a été refaite. L'aile sud, remaniée et presque entièrement reconstruite au 19e siècle, contraste avec l'ancienneté de ses voisines. Le site, ancienne seigneurie des vicomtes de Lautrec, connut une brève occupation anglaise en 1331 avant sa reprise en 1384.