Édifié à la fin du XVIe siècle et achevé en 1599, le château de Morteau surprend par son plan singulier : quatre tours en forme de bastion encadrent l'édifice. Ses propriétaires entretenaient des liens étroits avec les chanoines de Saint-Jean-Baptiste et jouèrent un rôle clé dans l'implantation du collège des Jésuites en 1617.

L'intérieur révèle une organisation défensive : le rez-de-chaussée, entièrement voûté, comprend une grande salle basse et une cuisine. Une des tours renferme un oratoire dédié à la Vierge, dont les murs se couvrent de peintures murales exécutées vers 1640.

Le château a connu une importante transformation à la fin du XVIIIe siècle. Cette période a apporté le réaménagement complet de l'étage ainsi que l'adjonction de deux pavillons contre les façades nord et sud et d'un étage sous combles. Ces modifications, plancher, lambris et cheminées inclus, demeurent visibles aujourd'hui.

À proximité se dresse un pigeonnier du XVIIIe siècle conservant son aménagement d'époque : boulins et échelle tournante toujours en place.