Palluau conserve les vestiges d'une forteresse médiévale du 13e siècle, édifiée sur une motte et entourée d'une enceinte fortifiée flanquée de tours. Ce château fort englobait à l'origine un vicus et une église paroissiale, aujourd'hui disparus. Au 17e siècle, en 1661, le maréchal de Clérambault fit reconstruire un nouveau château à cet emplacement, qui subit ensuite des modifications au 18e siècle sous le comte de Pontchartrain. Incendié en 1793 pendant la Révolution, le château n'a jamais été restauré et demeure en ruines. Son intérêt réside dans la coexistence des vestiges médiévaux et des traces du château du 17e siècle, offrant un témoignage des différentes périodes de construction et d'occupation du site.