Édifié au 15e siècle, le château de Ferrassou relevait directement en hommage du roi. Son architecture allie un corps de logis principal à deux anciennes tours de défense, positionnées aux angles nord et sud. La tour ronde, décorée de motifs Renaissance sur ses façades nord, ouest et est, a perdu son sommet lors de la Révolution. À l'angle sud-ouest, une tour carrée renferme un escalier à vis remarquable : ses marches s'enroulent autour d'un noyau central torsadé, orné à son faîte d'un "palmier" architectural dont les arcs retombent sur des culs de lampe. La partie nord-ouest du bâtiment a été reconstruite en 1820.