Perché sur un éperon rocheux dominant le bourg, le château de Palluau occupe une position stratégique depuis le 11e siècle, alors qu'il dépendait du comte d'Anjou et de Touraine. En 1188, Philippe Auguste s'en empara de haute lutte, reprenant la forteresse aux Anglais qui la tenaient. Ruiné à la fin du 12e siècle, le château subit de nouveaux assauts lors des guerres de Religion en 1560 et 1582, puis lors de la révolte locale de 1796.

Des bâtiments médiévaux subsistent les fondations, qui servent de base au château actuel, ainsi que la tour d'angle ouest — celle-là même où, selon la légende, Philippe Auguste arbora l'étendard de France. Les structures visibles aujourd'hui datent des 15e et 16e siècles : deux corps de logis édifiés aux angles sud-est et sud-ouest, reliés à une imposante tour ronde qui conserve la mémoire de l'ancienne forteresse.

À l'intérieur, la chapelle du bâtiment oriental fascine par ses peintures murales racontant l'histoire de la Vierge. La grosse tour renferme également des peintures murales remarquablement préservées.