Édifié au 15e siècle durant l'occupation anglaise, le château de la Chapoulie ne ressemble guère aux forteresses traditionnelles. Deux tours en constituent l'essence : une tour ronde massive qui servait de corps de logis, et une tour plus élancée abritant l'escalier et quelques petits appartements. Deux mâchicoulis défendent les accès, rappelant sa vocation de repaire fortifié plutôt que de demeure seigneuriale.

Les siècles suivants ont progressivement adouci son aspect martial. Aux 16e et 17e siècles, des fenêtres percent les murailles, tandis que la grosse tour s'orne de grandes lucarnes à frontons triangulaires. Au 18e siècle, des corps de logis en rez-de-chaussée et un bâtiment de communs viennent s'accoler aux tours, humanisant l'ensemble.

À cinquante mètres au sud se dresse un pigeonnier octogonal, édifice singulier posé sur huit piliers de pierre. Sa toiture couronnée d'une calotte hémisphérique en fait un petit bijou d'architecture rurale.