Le donjon existait déjà au 13e siècle. En 1305, le seigneur reçoit l'autorisation royale de fortifier l'édifice. La vieille forteresse est transformée au 15e siècle et les remparts bâtis. Le château Renaissance est bâti vers 1539 à côté du premier, auquel il fut rattaché au 17e siècle par un pavillon. La porte principale ouvre au centre du bâtiment. Cette porte est encadrée de quatre colonnes en marbre, à chapiteaux corinthiens, supportant une corniche moulurée avec un entablement. Un fronton circulaire et coupé porte en son centre, dans un panneau carré flanqué de feuilles d'acanthe, les armes des Lauzun. Une seconde porte, encadrée de deux pilastres cannelés supportant un petit entablement, s'ouvre à l'extrémité droite de la façade. Un pavillon construit au 17e siècle, restauré et achevé au 18e, s'élève perpendiculairement à la façade, couvert d'une toiture en carène qui l'a fait surnommé "le dôme". Autel votif romain du 2e siècle.

Le château de Lauzun est situé sur le territoire de la commune de Lauzun.