Le château de Bardou révèle plusieurs siècles de construction superposés. Son corps de logis rectangulaire s'appuie sur deux tours médiévales : une tour carrée à mâchicoulis du 14e siècle et une tour ronde du 15e siècle. Les fenêtres du bâtiment principal, ornées de meneaux cruciformes, témoignent du travail de pierre raffiné. Au 17e siècle, une aile basse fut construite en retour d'équerre sur la façade ouest, connue sous le nom d'aile de l'évêque car elle accueillait la chambre de Monseigneur de Souillac, évêque de Lodève, ainsi qu'une chapelle aujourd'hui disparue. En 1777, une aile symétrique fut élevée, dotée d'un porche original : deux baies en plein cintre abritent un escalier de pierre.