Attesté dès le XIIe siècle, le château de Cabannes a connu des fortunes diverses. Après avoir appartenu à plusieurs seigneuries locales, il revient au XVe siècle à Antoine de Pontevès. Confronté à une révolte des habitants assiégeant la forteresse, il entreprend d'importants travaux de renforcement et d'agrandissement dans les années 1440-1450, donnant au château sa structure actuelle avec son corps central crénelé et sa tour carrée ouest.

Au XVIe siècle, la famille des Rollands, originaire de Bourgogne, en devient propriétaire. Plusieurs de ses membres accèdent aux plus hautes charges : conseiller au parlement, chevalier de l'ordre de Saint-Michel, viguier de Marseille. Au siècle suivant, Henri des Rollands obtient de Louis XIV l'érection de la seigneurie en marquisat, tandis qu'une chapelle est aménagée dans le château. Au début du XVIIIe siècle, la famille rayonne parmi les plus importantes de Provence, avant de décliner à la mort sans héritier de Jean-Baptiste des Rollands en 1752.

Le château passe alors aux Vento, marquis des Pennes. À la Révolution, le marquis Paul-Jean-Louis de Vento émigre et ses biens sont confisqués en 1792 après le pillage du château. Morcelé en plusieurs propriétés, il connaît des remaniements, perdant progressivement sa richesse décorative. La tour ouest est démolie en 1894.