Au milieu du XVe siècle, la seigneurie de Savenès appartenait à la puissante maison des Izalguier qui la céda à la maison de Vabres au début du siècle suivant. En 1612, Jean de Vabres vend à Jean de Pezan, procureur au Parlement de Toulouse, « la seigneurie de Savenez et Escufès. Son petit-fils Jean de Pezan, procureur de Toulouse, qui fait bâtir le château en 1645 sur ses terres familiales. La demeure passe ensuite à la famille d’Arailh, grande famille toulousaine de noblesse de robe, par le mariage en 1684 de sa fille Jeanne avec François d’Arailh. Leur petit-fils, Jean, « sieur de Fourcaran, écuyer », époux de Marie d’Advisard (décédée en 1754) puis en secondes noces, en 1763, de Perrine d’Albouy-Dupech, est élu capitoul en 1767. Le dernier de ses huit enfants, Marie-Joseph Jean-Baptiste Benjamin d’Arailh, décède sans postérité masculine et le château se transmet ensuite par les femmes (familles Bouzigues puis Boulet) jusqu’en 2001 où il est acheté par son propriétaire actuel.