Édifié au 17e siècle sur les vestiges d'un ancien château féodal dont les origines remontent à 1276, le château de Périgères a connu plusieurs phases d'agrandissement. À partir de 1582, la structure s'enrichit de deux corps de bâtiments flanqués de tours rondes et carrées, tandis qu'une chapelle vient compléter l'ensemble. Les travaux se poursuivent en 1660. La porterie, couverte d'un toit à l'impériale, date de 1686. Un incendie détruisit partiellement le château au 18e siècle (1740 ou 1779), endommageant la partie nord. L'extrémité sud fut alors profondément remodelée, bien qu'un noyau du 17e siècle subsiste en son centre. À l'intérieur, les plafonds à caissons ou à solives conservent leur décor d'époque classique, tandis que l'aménagement général porte principalement la marque du 19e siècle.