Ancienne résidence des comtes de Rodez, Montrozier fut leur premier château hors de la ville avant qu'ils ne se fixent à Gages à la fin du 13e siècle. Le site connaît une histoire mouvementée : en 1431, le routier Rodrigue de Villandrado y séjourne pendant les troubles du 15e siècle. Louis XI concède le château à Jean, bâtard d'Armagnac, en 1487. Trois siècles plus tard, en 1761, Montrozier est érigé en marquisat. Les bâtiments actuels datent des 15e et 16e siècles.