Le château de Loyes a été construit au 19e siècle sur un site fortifié dont les vestiges s'échelonnent du 11e au 19e siècle. Les ruines de l'ancien château des seigneurs de Loyes, connu sous le nom de château de la Pie, témoignent de cette longue occupation. Au 18e siècle, d'importants travaux de rénovation ont été entrepris, mais un incendie a détruit le sommet des tours et la toiture. Entre 1840 et la fin du siècle, le château a connu plusieurs phases de transformation : rénovation générale, construction des communs, d'un bûcher-cellier et des écuries. La fin du 19e siècle marque un tournant : une église est édifiée, une muraille néo-gothique érigée et l'entrée du château modifiée. Le jardin régulier, élaboré au début du 18e siècle, est modernisé à la fin du 19e siècle par Luizet et Barret avec l'ajout d'un jardin paysager. À l'intérieur, subsiste un escalier en rampe sur rampe du 17e siècle, orné au 19e siècle des armoiries des différents propriétaires.