Édifié entre 1543 et 1548 pour le cardinal François de Tournon, le château de Roussillon naît de la transformation d'une maison forte médiévale. Son architecture révèle une influence italienne marquée : l'architecte Sebastiano Serlio a conçu un édifice où la pierre de taille appareillée remplace la maçonnerie rustique du bâtiment antérieur. À l'ouest s'étend une galerie impressionnante de cinquante mètres de long. Le château doit sa célébrité à un événement majeur : c'est ici que fut signé en 1564 l'Édit de Roussillon, qui fixa le premier jour de l'année au 1er janvier. Vendu comme bien d'émigré en 1794, le château aurait sombré dans l'abandon sans l'intervention du maire de la commune à la fin du XIXe siècle, qui le racheta et y établit la mairie, assurant ainsi sa sauvegarde.