Le château d'Avaray est né au 13e siècle, mais son aspect actuel résulte de plusieurs campagnes de transformation. Aux structures médiévales, dont les tours subsistent, ont été adjointes progressivement l'aile ouest au 17e siècle et l'aile nord. Les douves, aménagées vers 1620, furent bientôt franchies par trois ponts dormants dès 1730, remplaçant le pont-levis primitif. Une refonte majeure intervint en 1736 : la majorité du vieux château fut rasée et l'aile orientale fut édifiée, donnant au château sa configuration définitive. Sous la Restauration, la façade sud s'enrichit d'un avant-corps central orné d'un balcon à balustres supporté par quatre colonnes, couronné d'un fronton triangulaire.