Castelfranc a connu une histoire mouvementée. Fondé au début du XVIe siècle, le château accueillit Guillaume le Nautonnier, géographe du roi Henri IV. Seul le Belvédère, édifié en 1610, subsiste de cette époque : un ensemble original composé d'une écurie rectangulaire flanquée d'une tour carrée servant d'observatoire, ceinte à son dernier étage d'une galerie en bois inspirée des hourdages médiévaux. Le château fut détruit lors du pillage de 1628 ; sa reconstruction amorcée en 1654 n'aboutit pas. C'est le chevalier de Solages qui, en 1835, reconstruisit le château en bordure de l'ancienne esplanade, intégrant aux façades des éléments architecturaux et sculpturaux récupérés d'édifices toulousains. L'ensemble, disposé en L, comprend le château, une orangerie et une chapelle.