http://www.deeplearningbook.org/contents/ml.html Pagina 116 legt uit fout zoals hieronder
Het ideale model is een orakel dat gewoon de ware kansverdeling kent die de gegevens genereert. Zelfs een dergelijk model zal bij veel problemen nog steeds een fout maken, omdat er mogelijk nog wat ruis in de distributie zit. In het geval van begeleid leren, kan het in kaart brengen van x naar y inherent stochastisch zijn, of kan y een deterministische functie zijn die andere variabelen omvat dan die welke in x zijn opgenomen. De fout die wordt gemaakt door een orakel dat voorspellingen doet op basis van de werkelijke distributie p (x, y), wordt de Bayes-fout genoemd.
Vragen
- Kunt u de Bayes-fout intuïtief uitleggen?
- Waarin verschilt het van een onherleidbare fout?
- Kan ik totale fout = Bias + Variantie + Bayes-fout zeggen?
- Wat is de betekenis van y may be inherent stochastisch “?
Answer
Bayes-fout is de laagst mogelijke voorspellingsfout die kan worden bereikt en is de hetzelfde als onherleidbare fout. Als men precies zou weten welk proces de gegevens genereert, zullen er nog steeds fouten worden gemaakt als het proces willekeurig is. Dit is ook wat wordt bedoeld met “$ y $ is inherent stochastisch”.
Als we bijvoorbeeld een eerlijke munt omdraaien, weten we precies welk proces de uitkomst genereert (een binominale verdeling). Als we echter de uitkomst van een reeks muntwissels zouden voorspellen, zouden we nog steeds fouten maken, omdat het proces inherent willekeurig is (dwz stochastisch).
Om je andere vraag te beantwoorden, heb je gelijk in beweren dat de totale fout de som is van (kwadraat) bias, variantie en onherleidbare fout. Zie ook dit artikel voor een gemakkelijk te begrijpen uitleg van deze drie concepten.
Antwoord
de essentie van de statistiek is het gebrek aan informatie: bijv.: om de output van de flip-munt te bepalen, moeten we de zwaartekracht van de aarde op het testpunt kennen, de kromming van de munt, de windsnelheid, de handhouding. .. Als het wordt bepaald, zal het zeker de output van dat experiment kennen. Maar we kunnen het niet allemaal bepalen. Of bij het bepalen van de prijs van het huis moeten we de locatie, markt, macro-economisch, .. niet alleen de afstand tot het centrum en de grootte van het huis weten. = > Als we in ML dus alleen de afstand tot het centrum en de grootte van het huis opnemen, is de output nog steeds stochastisch, niet bepaalbaar, – > hebben ook de fout, zelfs met het orakel (in Deep Learning-boek: “y kan een deterministische functie zijn die andere variabelen omvat dan die in x”)
Antwoord
Van https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Voor classificatietaak, bayes fout wordt gedefinieerd als:
$ min_f = Cost (f) $
Bayes Classifier wordt gedefinieerd als: $ argmin_f = Cost (f) $
Dus totale fout = bayes error + hoeveel uw model slechter is dan bayes error $ \ not \ equiv $ Bias + Variance + Bayes-fout die kan afhangen van uw model en de inherente aard van” distributieruis “
Wat is de betekenis van” y kan inherent zijn stochastisch “? Bijvoorbeeld $ y = f (x) = sin (x) $ . Maar wat u als y verzamelt, is altijd vervuild als $ \ tilde {y} = y + t $ , waarbij $ t \ sim N (0, \ sigma ^ 2) $ Je hebt dus geen manier om de echte te kennen, en de kostenraming die je hebt, is inherent vervuild. Zelfs Oracle geeft u het juiste antwoord, u denkt dat ze het bij het verkeerde eind hebben.