Le château de Toulonjac, fondé au 15e siècle et reconstruit en 1421, puis fortifié en 1442, a été profondément transformé aux siècles suivants. Son architecture allie un plan rectangulaire allongé à un donjon quadrangulaire aux angles arrondis, accompagné d'une tour d'escalier en vis. La cuisine conserve une impressionnante cheminée du 15e siècle, vestige de l'édifice médiéval. Un décor de papiers peints illustrant l'histoire de Don Quichotte, datant des années 1840, orne le premier étage de la construction intermédiaire reliant le donjon à la tour. La partie Est actuelle date du 19e siècle. Le château accueillit autrefois le poète Charles de Pomairols lors de son enfance.