Édifiée sur les fondations d'un site romain, la tour de Sandeiran — ancien nom du château — remonte aux 11e et 12e siècles. Ce donjon carré, typique du bas Languedoc médiéval, épouse un plan en parallélogramme et ne présente que de rares ouvertures, destinées au guet et à la transmission de signaux.

En 1540, Bermond de la Jonquière, bourgeois d'Anduze, acquiert cette ancienne tour et entreprend la construction d'un véritable château entre 1549 et 1566. Les bâtiments de cette époque Renaissance s'organisent autour du donjon, édifié sur un roc taillé. La porte voûtée en berceau s'élève à un mètre au-dessus du roc.

Avant la Révolution, la terre de Tornac était en paréage entre le roi et le prieur du monastère, un partage remontant aux guerres albigeoises. En 1792, le château est incendié et abandonné, puis saisi comme bien national et vendu par morceaux.