http://www.deeplearningbook.org/contents/ml.html Side 116 forklarer bayes fejl som nedenfor
Den ideelle model er et orakel, der simpelthen kender den sande sandsynlighedsfordeling, der genererer dataene. Selv en sådan model vil stadig pådrage sig en fejl på mange problemer, fordi der stadig kan være noget støj i fordelingen. I tilfælde af overvåget læring kan kortlægningen fra x til y være iboende stokastisk, eller y kan være en deterministisk funktion, der involverer andre variabler udover dem, der er inkluderet i x. Fejlen, der opstår ved et orakel, der forudsiger den sande distribution p (x, y) kaldes Bayes-fejlen.
Spørgsmål
- Forklar Bayes-fejl intuitivt?
- Hvordan adskiller det sig fra en irreducerbar fejl?
- Kan jeg sige total fejl = Bias + variation + Bayes-fejl?
- Hvad betyder “y kan være iboende stokastisk “?
Svar
Bayes-fejl er den lavest mulige forudsigelsesfejl, der kan opnås, og er den samme som ureducerbar fejl. Hvis man ville vide nøjagtigt, hvilken proces der genererer dataene, foretages der stadig fejl, hvis processen er tilfældig. Dette er også hvad der menes med “$ y $ er iboende stokastisk”.
For eksempel, når vi vender en fair mønt, ved vi nøjagtigt, hvilken proces der genererer resultatet (en binomial fordeling). Men hvis vi skulle forudsige resultatet af en række møntklip, ville vi stadig lave fejl, fordi processen i sagens natur er tilfældig (dvs. stokastisk).
For at besvare dit andet spørgsmål er du korrekt i om, at den samlede fejl er summen af (firkantet) bias, varians og irreducerbar fejl. Se også denne artikel for en letforståelig forklaring på disse tre begreber.
Svar
det væsentlige ved statistikken er manglen på information: f.eks. for at bestemme output af flip-mønt, er vi nødt til at kende jordgravitation ved testpunktet, møntkurvatur, vindhastighed, håndposition,. .. Hvis det bestemmes, vil det helt sikkert kende resultatet af det eksperiment. Men vi kan ikke bestemme det hele. Eller i den bestemmende pris på huset skal vi kende placeringen, markedet, makroøkonomisk .. ikke kun afstanden til centrum og husets størrelse. = > I ML, hvis vi kun har træningssættet, inkluderer afstanden til centrum og størrelsen på huset, er output stadig stokastisk, ikke bestemmelig, – > har også fejlen, selv med oraklet (i Deep Learning-bogen: “y kan være en deterministisk funktion, der involverer andre variabler udover dem, der er inkluderet i x”)
Svar
Fra https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . For klassificeringsopgaver skal bayes fejl er defineret som:
$ min_f = Omkostning (f) $
Bayes Classifier er defineret som: $ argmin_f = Omkostninger (f) $
Så total fejl = bayes-fejl + hvor meget din model er værre end bayes-fejl $ \ not \ equiv $ Bias + Variance + Bayes-fejl, som kan afhænge af din model og den iboende natur af” distributionsstøj “
Hvad betyder” y kan være iboende stokastisk “? For eksempel $ y = f (x) = sin (x) $ . Men det, du indsamler som y, er altid forurenet som $ \ tilde {y} = y + t $ , hvor $ t \ sim N (0, \ sigma ^ 2) $ Så du har ingen måde at kende reelle y, og din omkostningsestimering er i sig selv forurenet. Selv Oracle giver dig det rigtige svar, du tror, de er forkerte.