Le château de Fressac conserve les vestiges d'une forteresse du début du 13e siècle. Son donjon, préservé sur trois niveaux, affiche la solidité de pierres à bossages appareillées. L'entrée principale, ornée d'une porte à tympan monolithe sous arc plein cintre, ouvre sur l'esplanade intérieure. Celle-ci reste entièrement enclose par un mur d'enceinte où court un chemin de ronde bordé d'un parapet percé d'embrasures de tirs. Des consoles aux angles témoignent de la présence ancienne d'échauguettes. À l'intérieur subsistent deux salles voûtées, dont l'une servait probablement de citerne. L'accès actuel, avec sa large arcade à claveaux, date d'une période postérieure.