Le château de Fozières s'est construit progressivement à partir du 12e siècle sur un site occupé depuis au moins 987. Selon la tradition locale, la tour carrée remonterait même à l'époque romaine. À partir de 1093, les documents mentionnent un « castellum », confirmant l'existence d'une fortification attestée en 1116 par un acte de donation à l'abbaye de Gellone.

Au fil des siècles, la seigneurie s'est fragmentée : dès le 13e siècle en plusieurs co-seigneuries, puis au 14e siècle deux familles principales se partageaient les droits. Le château du 15e siècle se réduisait à l'essentiel : la tour-donjon et des salles voûtées au rez-de-chaussée.

L'ensemble architectural actuel comprend trois tours reliées : le donjon central, une tour carrée formant une courte aile sud, et au nord une ancienne tour isolée servant de pigeonnier. Vers le 17e siècle, cette dernière a été intégrée au corps principal par des bâtiments annexes et une terrasse, donnant au château sa physionomie actuelle.