Le premier château fut construit à la fin du 10e siècle ou au début du siècle suivant par Riwallon le Vicaire ou le Vicomte, l'un des chevaliers du duc Geoffroi Ier ; il occupait alors l'emplacement de l'église Sainte-Croix actuelle. Un deuxième château fut édifié au milieu du 11e siècle par son fils Robert Ier sur le site actuel. Il se composait d'un simple donjon et fut remplacé, au début du 13e siècle, par une forteresse beaucoup plus étendue, de forme triangulaire. Il en reste quelques courtines et la base de la tour au Véel. Cette forteresse fut elle-même reconstruite sur le même plan au 14e et au 15e siècles.

Le château de Vitré est un puissant château fort situé à l'extrémité occidentale de la ville fortifiée de Vitré, en Ille-et-Vilaine, sur les marches de Bretagne.