Le logis seigneurial de Gajan s'est construit en plusieurs étapes, du Moyen Âge à la Renaissance. Sur un site occupé depuis l'an 1000 par un castrum circulaire, l'évêque d'Uzès fait édifier ce logis au début du XIIIe siècle, peu après 1211. La première construction associe un logis avec salle d'un étage et une tour donjon de deux niveaux, couronnée d'un pigeonnier. Ces deux éléments fonctionnent de manière autonome. À la fin du XIVe ou au début du XVe siècle, le logis reçoit un niveau supplémentaire, un crénelage et une bretèche défensive au-dessus de sa porte. La tour donjon conserve sa structure de la fin du XIIe siècle sur sa façade nord, bien qu'elle ait été percée d'une demi-croisée et d'une baie à l'est. Le crénelage a disparu au cours des siècles et le parapet a été transformé, transformant progressivement ce petit ensemble fortifié en demeure plus civile.