Le château de Castelnau-Bretenoux couronne une colline à l'intersection de plusieurs vallées, dont celle de la Dordogne, sur la commune de Prudhomat, dans le Lot. Ses murailles de grès rouge se voient de loin. C'est la plus imposante forteresse du Quercy — triple enceinte, larges courtines, fossé profond, neuf tours rondes, sur un plan triangulaire dont le front oriental atteint quatre-vingt-six mètres.

Les barons de Castelnau apparaissent dans les textes vers 1100, quand Hugues entreprend la construction d'un castel nau — château neuf en occitan. Le nom lie l'édifice à cette lignée du Haut-Quercy et au bourg voisin de Bretenoux, qui fut leur centre économique ; Prudhomat, commune moderne, ne correspond pas au découpage historique.

Henri II d'Angleterre s'en empare en 1159, seul épisode militaire notable — la forteresse ne sera jamais assiégée par la suite. Rien ne subsiste des constructions du XIe siècle : le plus ancien bâtiment conservé, la tour de l'auditoire, date du XIIe et suit sans doute cette prise.

Encerclés par les terres du vicomte de Turenne devenu leur suzerain, les barons se placent en 1280 sous la protection directe du roi de France pour échapper à son autorité. La baronnie monte ensuite en puissance par des mariages avantageux, et le chantier se poursuit jusqu'au XVIIe siècle, quand les Clermont-Lodève transforment l'austère forteresse en demeure habitable — fenêtres à meneaux, salons d'apparat.

L'extinction de la lignée en 1715 ouvre une longue décrépitude. Abandonné par les ducs de Luynes, le château tombe en ruine ; un incendie détruit en 1851 les appartements du XVIIe siècle.

Le sauvetage vient d'un chanteur. Jean Mouliérat, ténor de l'Opéra-Comique de Paris et Lotois d'origine, achète les ruines en 1896 pour vingt mille francs et y consacre le reste de sa vie et de sa fortune. Il restaure, meuble, rassemble une collection considérable — mobilier, tapisseries, peintures, sculptures, du Moyen Âge au XVIIIe siècle. Il y reçoit Rodin, Colette et Willy. Quelques jours avant sa mort, en avril 1932, il lègue le château et ses collections à l'État, demandant que l'aménagement de ses pièces reste intact. Sa volonté a été respectée.

Classé monument historique depuis 1862, le château appartient au Centre des monuments nationaux.