En 1489, le seigneur de Joussé obtint du roi l'autorisation de fortifier son manoir. Le château médiéval du 15e siècle a traversé les siècles jusqu'à la Seconde Guerre mondiale, qui l'endommagea gravement. Il fut ensuite rasé. Au 17e siècle, un second édifice avait déjà été construit à l'ouest, entre deux tours de l'enceinte fortifiée. Ce logis subsiste encore aujourd'hui, avec ses deux étages et ses lucarnes remises à neuf en 1844. Les deux tours médiévales qui l'encadrent ont conservé quelques vestiges de leurs dispositifs défensifs. Un bas-relief sculptéaux armoiries, provenant de la double porte d'entrée du château détruit, a été sauvegardé et réapposé sur la façade du bâtiment du 17e siècle.