Ancien bastion stratégique dominant la vallée de la Touques, le château de Gacé a connu plusieurs campagnes de reconstruction depuis le 14e siècle. La grosse tour ouest, dite tour Talbot, date de la période de la guerre de Cent ans, lorsque la forteresse fut entièrement restaurée. Au 15e siècle, deux tours rondes furent édifiées à l'entrée principale, avec une interruption de quarante ans avant leur achèvement en 1489. La façade nord, qui regarde la place, date du 16e siècle, tandis que des modifications de style apparurent au 17e siècle. La Révolution lui fut fatale : les habitants en détruisirent une partie de la façade est, qu'on reconstruisit au 19e siècle en briques. Le château arbore aujourd'hui un plan rectangulaire avec pavillon central en avancée, épaulé à son extrémité nord par sa puissante tour de défense médiévale.