Édifié sur les vestiges d'une ancienne carrière, le château de Berzy-le-Sec fut le manoir des vicomtes de Berzy. Ses fortifications témoignent de trois grandes périodes de construction : le 13e siècle en pose les fondations, tandis que les 14e et 15e siècles voient s'élever un châtelet d'entrée particulièrement robuste, doté d'une porte à bascule, d'un mâchicoulis et de deux échauguettes encadrant le passage. Au 16e siècle, une chapelle est curieusement installée dans le fossé même du château, témoignant des adaptations successives apportées à cet édifice médiéval.