Aux mains de la famille de Saint-Exupéry depuis la fin du 14e siècle, le château du Fraysse est né de la transformation d'une maison forte médiévale des 13e ou 14e siècles. Les guerres de Religion et la Fronde l'ont à plusieurs reprises incendié, mais c'est après ces troubles que sa véritable métamorphose s'amorce. À partir du 17e siècle, le château s'ouvre sur l'extérieur, l'urgence défensive cédant la place à l'agrément. Travaux d'agrandissement, boiseries et escalier d'honneur témoignent de cette évolution, interrompus en 1789 et repris en 1815. Une terrasse en remblai fut aménagée au début du 18e siècle face à la façade nord, encadrée par les vestiges de deux tours médiévales. Le parc, enrichi d'un bassin rectangulaire, s'est développé au cours des 18e et 19e siècles. Un petit oratoire dédié à la Vierge a été édifié en 1852.