Édifié à partir de 1381, le château de Châteaugay s'organise autour d'une cour centrale selon un plan quadrangulaire. Son donjon carré de cinq étages, implanté à l'ouest, conserve la puissance architecturale du 14e siècle, bien que ses créneaux et mâchicoulis aient été repris au 16e siècle. Le flanc nord du château est entièrement scandé de tours rondes massives, qui prolongent l'enceinte intérieure primitive. De l'ancienne fortification extérieure, seules deux portes fortifiées subsistent, reconnaissables à leurs arcades et aux corbeaux de leurs anciens mâchicoulis.

L'église castrale, intégrée après la porte sud, conserve sa nef septentrionale d'époque médiévale, tandis que le reste a été modernisé. À l'intérieur de la cour, le grand escalier et les fenêtres du second étage témoignent des aménagements du début du 16e siècle, période durant laquelle le château a reçu plusieurs adjonctions. Des modifications se sont poursuivies jusqu'au 19e siècle, transformant progressivement cette forteresse médiévale en demeure habitée.