Un bourg datant des époques antique, burgonde et mérovingienne existait sur le site actuel de Saint-Romain-d'Albon. A la fin de l'époque carolingienne, le pouvoir se déplaça vers le site de la Tour d'Albon. Cela se traduisit par l'utilisation du titre comtal que l'on retrouve dans une charte de 1079 et la création du château d'Albon. La tour d'Albon se trouve sur une motte dominant la plaine du Rhône. Des traces de poteaux en bois témoignent de la présence dans un premier temps d'une construction en bois entourés de fossés secs. Le site castral devient ensuite un vaste ensemble englobant le donjon et le bourg avec des murailles et des portes monumentales. La tour actuelle est l'ancienne tour-maîtresse du château couronnant cette motte artificielle. De plan carré, elle possède des murs très importants. Elle n'avait cependant aucune fonction résidentielle. Elle apparaît comme un symbole de la richesse et du pouvoir des comtes d'Albon. Les simples bâtiments de bois existant entre les 9ème et 11ème siècles furent reconstruits entre le 11ème et le 12ème siècle pour donner une grande « aula camera » de type impérial composant l'élément principal de la basse-cour et une chapelle monumentale s'élevant au nord de la motte. Elle comporte une nef unique et une abside semi-circulaire dont il ne reste que les bases des murs. A son apogée, aux 13ème et 14ème siècles, il ne reste à ce jour de la résidence princière que les bases des murs extérieurs et un mur de refend intérieur. Elle comportait néanmoins au premier étage, deux salles : une « aula magna » et une « camera retracti » ; et au rez-de-chaussée, un espace servant de remise ou de cuisine. Le site fut abandonné au 16ème siècle.

Le château d'Albon est un ancien château fort du XIIIe siècle, chef-lieu du mandement d'Albon, dont les ruines se dressent sur la commune d'Albon dans le département de la Drôme et la région Auvergne-Rhône-Alpes.