http://www.deeplearningbook.org/contents/ml.html La page 116 explique les bayes erreur comme ci-dessous
Le modèle idéal est un oracle qui connaît simplement la vraie distribution de probabilité qui génère les données. Même un tel modèle entraînera encore des erreurs sur de nombreux problèmes, car il peut encore y avoir du bruit dans la distribution. Dans le cas dun apprentissage supervisé, le mappage de x à y peut être intrinsèquement stochastique, ou y peut être une fonction déterministe qui implique dautres variables que celles incluses dans x. Lerreur encourue par un oracle faisant des prédictions à partir de la vraie distribution p (x, y) est appelée lerreur de Bayes.
Questions
- Veuillez expliquer lerreur de Bayes de manière intuitive?
- En quoi est-ce différent dune erreur irréductible?
- Puis-je dire erreur totale = biais + variance + erreur Bayes?
- Que signifie « y peut être intrinsèquement stochastique « ?
Réponse
Lerreur de Bayes est lerreur de prédiction la plus faible possible et est la identique à lerreur irréductible. Si lon sait exactement quel processus génère les données, des erreurs seront toujours commises si le processus est aléatoire. Cest aussi ce que lon entend par « $ y $ est intrinsèquement stochastique ».
Par exemple, lorsque lon lance une pièce équitable, nous savons exactement quel processus génère le résultat (une distribution binomiale). Cependant, si nous devions prédire le résultat dune série de lancers de pièces, nous ferions toujours des erreurs, car le processus est intrinsèquement aléatoire (cest-à-dire stochastique).
Pour répondre à votre autre question, vous avez raison. indiquant que lerreur totale est la somme du biais (au carré), de la variance et de lerreur irréductible. Consultez également cet article pour une explication facile à comprendre de ces trois concepts.
Réponse
lessentiel de la statistique est le manque dinformation: ex: pour déterminer la sortie de flip coin, il faut connaître la gravitation terrestre au point de test, la courbure de la pièce, la vitesse du vent, la posture de la main ,. .. Sil est déterminé, il connaîtra sûrement le résultat de cette expérience. Mais nous ne pouvons pas tout déterminer. Ou dans le prix déterminant de la maison, nous devons connaître lemplacement, le marché, la situation macroéconomique, .. pas seulement la distance au centre et la taille de la maison. = > Par conséquent, en ML, si lensemble dapprentissage ne comprend que la distance au centre et la taille de la maison, la sortie est toujours stochastique, non déterminable, – > ont aussi lerreur, même avec loracle (dans le livre Deep Learning: « y peut être une fonction déterministe qui implique dautres variables en plus de celles incluses dans x »)
Réponse
From https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Pour la tâche de classification, bayes lerreur est définie comme suit:
$ min_f = Coût (f) $
Le classificateur Bayes est défini comme: $ argmin_f = Coût (f) $
Donc erreur totale = erreur bayes + combien votre modèle est pire que lerreur bayes $ \ not \ equiv $ Erreur Bias + Variance + Bayes qui peut dépendre de votre modèle et de la nature inhérente du » bruit de distribution «
La signification de » y peut être intrinsèquement stochastique « ? Par exemple, $ y = f (x) = sin (x) $ . Mais ce que vous collectez comme y est toujours pollué comme $ \ tilde {y} = y + t $ , où $ t \ sim N (0, \ sigma ^ 2) $ Vous navez donc aucun moyen de connaître le réel y, et lestimation des coûts que vous avez est intrinsèquement polluée. Même Oracle vous donne la bonne réponse, vous pensez quils ont tort.