http://www.deeplearningbook.org/contents/ml.html Sidan 116 förklarar vikar fel enligt nedan
Den ideala modellen är ett orakel som helt enkelt känner till den verkliga sannolikhetsfördelningen som genererar data. Även en sådan modell kommer fortfarande att orsaka fel på många problem, eftersom det fortfarande kan finnas något brus i distributionen. När det gäller övervakat lärande kan kartläggningen från x till y vara inneboende stokastisk, eller y kan vara en deterministisk funktion som involverar andra variabler förutom de som ingår i x. Felet som orsakas av ett orakel som förutsäger den verkliga fördelningen p (x, y) kallas Bayes-felet.
Frågor
- Förklara Bayes-felet intuitivt?
- Hur skiljer det sig från irreducerbart fel?
- Kan jag säga total error = Bias + Variance + Bayes error?
- Vad betyder ”y kan vara i sig stokastiskt ”?
Svar
Bayes-fel är det lägsta möjliga förutsägelsesfel som kan uppnås och är samma som irreducible error. Om man skulle veta exakt vilken process som genererar data kommer fel fortfarande att göras om processen är slumpmässig. Detta är också vad som menas med ”$ y $ är i sig stokastiskt”.
Till exempel när vi vänder ett rättvist mynt vet vi exakt vilken process som genererar resultatet (en binomial fördelning). Men om vi skulle förutsäga resultatet av en serie myntvändningar skulle vi fortfarande göra fel, eftersom processen i sig är slumpmässig (dvs. stokastisk).
För att svara på din andra fråga har du rätt i som anger att det totala felet är summan av (kvadrat) förspänning, varians och irreducerbart fel. Se även den här artikeln för en lättförståelig förklaring av dessa tre begrepp.
Svar
det väsentliga i statistiken är bristen på information: ex: för att bestämma produktionen av vändmynt, måste vi känna till jordgravitation vid testpunkten, myntkurvatur, vindhastighet, handställning,. .. Om det bestäms kommer det säkert att känna till resultatet av det experimentet. Men vi kan inte bestämma allt. Eller när vi bestämmer husets pris, måste vi veta platsen, marknaden, makroekonomiska, .. inte bara avståndet till centrum och husets storlek. ”5528295c98″>
Om vi i träningsuppsättningen endast inkluderar avståndet till centrum och storleken på huset i ML är resultatet fortfarande stokastiskt, inte bestämbart, – > har också felet, även med oraklet (i Deep Learning-boken: ”y kan vara en deterministisk funktion som involverar andra variabler förutom de som ingår i x”)
Svar
Från https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . fel definieras som:
$ min_f = Kostnad (f) $
Bayes Classifier definieras som: $ argmin_f = Kostnad (f) $
Så totalt fel = bayes-fel + hur mycket din modell är sämre än bayes-fel $ \ not \ equiv $ Bias + Variance + Bayes-fel som kan bero på din modell och” fördelningsbrus ”i sig
Vad som betyder” y kan vara inneboende stokastisk ”? Till exempel $ y = f (x) = sin (x) $ . Men det du samlar in som y är alltid förorenat som $ \ tilde {y} = y + t $ , där $ t \ sim N (0, \ sigma ^ 2) $ Så du har inget sätt att känna till riktigt y, och din kostnadsberäkning är i sig förorenad. Även Oracle ger dig rätt svar, du tror att de har fel.