http://www.deeplearningbook.org/contents/ml.html Pagina 116 explică bayes eroare ca mai jos
Modelul ideal este un oracol care cunoaște pur și simplu adevărata distribuție de probabilitate care generează datele. Chiar și un astfel de model va suporta în continuare o anumită eroare în multe probleme, deoarece este posibil să existe încă ceva zgomot în distribuție. În cazul învățării supravegheate, maparea de la x la y poate fi inerent stocastică, sau y poate fi o funcție deterministă care implică alte variabile în afară de cele incluse în x. Eroarea suportată de un oracol care face predicții din distribuția adevărată p (x, y) se numește eroare Bayes.
Întrebări
- Vă rugăm să explicați eroarea Bayes intuitiv?
- În ce constă diferența de eroarea ireductibilă?
- Pot să spun eroare totală = eroare Bias + Varianță + Bayes?
- Ce înseamnă „y poate fi inerent stochastic „?
Răspuns
Eroarea Bayes este cea mai mică eroare de predicție posibilă care poate fi atinsă și este la fel ca eroarea ireductibilă. Dacă s-ar ști exact ce proces generează datele, atunci vor fi încă erori dacă procesul este aleatoriu. Aceasta este, de asemenea, ceea ce se înțelege prin „$ y $ este inerent stocastic”.
De exemplu, atunci când întoarceți o monedă corectă, știm exact ce proces generează rezultatul (o distribuție binomială). Cu toate acestea, dacă ar fi să prezicem rezultatul unei serii de monede, vom face totuși erori, deoarece procesul este inerent aleatoriu (adică stocastic).
Pentru a răspunde la cealaltă întrebare, aveți dreptate în afirmând că eroarea totală este suma prejudecății (pătrate), varianței și erorii ireductibile. Consultați și acest articol pentru o explicație ușor de înțeles a acestor trei concepte.
Răspuns
esențialul statisticii este lipsa de informații: ex: pentru a determina ieșirea monedei flip, trebuie să cunoaștem gravitația pământului la punctul de testare, curbura monedei, viteza vântului, postura mâinii. .. Dacă este determinat, va cunoaște cu siguranță rezultatul experimentului respectiv. Dar nu putem determina totul. Sau în prețul determinant al casei, trebuie să cunoaștem locația, piața, macroeconomia, .. nu numai distanța până la centru și dimensiunea casei. = > Prin urmare, în ML, dacă avem setul de antrenament include doar distanța până la centru și dimensiunea casei, ieșirea este încă stocastică, nu poate fi determinată, – > au, de asemenea, eroarea, chiar și cu oracolul (în cartea Deep Learning: „y poate fi o funcție deterministă care implică alte variabile în afară de cele incluse în x“)
Răspuns
From https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Pentru sarcina de clasificare, bayes eroarea este definită ca:
$ min_f = Cost (f) $
Clasificatorul Bayes este definit ca: $ argmin_f = Cost (f) $
Deci eroare totală = eroare bayes + cât de mult este mai rău modelul tău decât eroare bayes $ \ not \ equiv $ Eroare Bias + Varianță + Bayes, care poate depinde de modelul dvs. și de natura inerentă a” zgomotului de distribuție „
Ce înseamnă” y „poate fi inerent stochastic „? De exemplu, $ y = f (x) = sin (x) $ . Dar ceea ce colectați ca y este întotdeauna poluat ca $ \ tilde {y} = y + t $ , unde $ t \ sim N (0, \ sigma ^ 2) $ Deci, nu aveți nicio modalitate de a cunoaște y real, iar estimarea costurilor pe care o aveți este inerent poluată. Chiar și Oracle vă oferă răspunsul corect, credeți că greșesc.