Édifié au 16e siècle par François Ier de Rogier et l'architecte Geoffre Jearoy, le château de Ferrals succède à une forteresse médiévale dont les ruines demeurent visibles dans le parc. Le site lui-même, connu depuis 1213, avait appartenu aux comtes de Toulouse avant de passer à l'abbaye de Saint-Papoul lors de la croisade albigeoise. La construction du château neuf débute en 1565. Flanqué de six tours — trois à l'est, trois à l'ouest — et protégé par des fossés, l'édifice affiche une architecture défensive classique avec créneaux et meurtrières. L'accès principal au sud, commandé par deux tourelles rondes, franchit un pont permanent. À l'intérieur, un escalier mène aux appartements disposés à la moderne, aux cuisines, aux magasins et aux caves voûtées. La tour nord-ouest renferme une chapelle. Les vestiges du château antérieur incluent la tour de la reine Marguerite, carrée au rez-de-chaussée et ronde au premier étage, témoignage de l'histoire stratifiée du site.