Édifié en 1461 comme maison-forte, le château d'Andert s'est transformé en maison de plaisance au 17e siècle, comme l'atteste la date de 1655 gravée dans la pierre. La Révolution lui a été fatale : deux tours et le pigeonnier ont disparu. Le 19e siècle a marqué profondément le bâtiment par deux campagnes de modification (1829 sous le baron Richerand, 1867 par l'entrepreneur Chaboux), introduisant le style néo-gothique sur les façades sud et ouest. De plan en U, le château actuel présente une façade nord flanquée de deux tours, percée d'un portail monumental à bossages du 17e siècle. À l'intérieur, une pièce du rez-de-chaussée nord conserve une porte et une cheminée du 15e siècle, témoins de l'édifice originel. Le reste de l'aménagement intérieur remonte au 19e siècle.