Le château de Breuil-Yvain s'étire en un long corps de logis du 18e siècle, percé de sept rangées d'ouvertures régulières. De son passé médiéval subsistent des témoins remarquables : la poterne du 15e siècle, flanquée de deux petites tours coniques, et deux tours rondes qui marquaient autrefois les angles de l'enceinte primitive. Une chapelle se dresse à l'est du château. Les communs adjacents, bâtiments bas aux hautes toitures, évoquent par leur architecture rurale le 16e ou le 17e siècle. Le fief remonte au moins au 12e siècle.