Le château de Caillères surprend par l'originalité de sa composition. Construit entre le 15e et le 17e siècle, il associe un bâtiment rectangulaire principal à un second volume en saillie, créant une façade nord non rectiligne. Ce second bâtiment, couvert d'une toiture à quatre pans, présente trois étages en façade et culmine avec une lucarne à ailerons ornée d'un fronton triangulaire agrémenté de pinacles. Une tour demi hors-oeuvre flanque l'ensemble : son accès s'effectue par une élégante porte en arc en accolade, surmontée d'un encadrement rectangulaire. Cette tour renferme un escalier à vis. À noter les baies aux encadrements sculptés qui viennent enrichir la travée est du bâtiment rectangulaire.