Édifié au 16e siècle sur plan carré, le château de Payra-sur-l'Hers est une demeure sans fortifications majeure construite avant les guerres de Religion. Raymond de Marion, fermier général de la Reine et négociant en pastel enrichi, en fut le commanditaire. Les défenses se limitaient à une petite tour carrée à l'est, une échauguette nord-ouest ornée de modillons et d'un cordon torsadé, et une tour ronde isolée convertie en pigeonnier. La façade nord a reçu au 18e siècle une porte d'entrée à arc segmentaire encadrée de pilastres. Sur la façade est, une fenêtre du rez-de-chaussée s'inscrit dans les vestiges d'une ancienne croisée, tandis qu'une « gaine » en saillie rappelle les préoccupations défensives du bâtiment.