Le château de Latour surprend par la complexité de sa composition : plusieurs masses construites à différentes périodes s'emboîtent et se répondent. Le cœur de l'édifice remonte au 16e siècle. Deux bâtiments de deux étages, reliés par une terrasse sur arcades, forment l'ossature principale. Au nord, des communs flanqués de tourelles encadrent le logis ; l'une d'elles abrite la chapelle. Un porche marque l'accès à la cour. La façade orientale a subi d'importants remaniements au 19e siècle, époque qui a aussi doté le château d'un donjon. Au sud se dresse un pigeonnier équipé d'un larmier et de carreaux vernissés destinés à protéger les nids des nuisibles.