Édifié au cours du 17e siècle, le château de Gaujac s'inscrit dans les anciennes fortifications du lieu, dont il occupe le cœur. Ces défenses originelles, cantonnées de tours d'angle carrées sauf à la sud-ouest où s'élève une tour circulaire, ceinturent encore le château. L'édifice adopte un plan en équerre, composé de deux corps de bâtiment qui encadrent une cour intérieure, complétée par une seconde cour à l'est précédant le corps principal.

La façade Est révèle le raffinement de la conception : deux corps en retrait à 45° l'encadrent, tandis qu'une vaste terrasse à balustres s'étend sur toute sa largeur au premier étage. Quatre pilastres cannelés à chapiteaux d'inspiration ionique rythment la partie centrale de cette élévation. L'étage d'attique, en retrait, adopte des pilastres nus. Le château a subi des remaniements importants au 19e siècle, notamment dans son organisation intérieure.