http://www.deeplearningbook.org/contents/ml.html erklärt 116es Fehler wie folgt
Das ideale Modell ist ein Orakel, das einfach die wahre Wahrscheinlichkeitsverteilung kennt, die die Daten generiert. Selbst ein solches Modell weist bei vielen Problemen immer noch Fehler auf, da die Verteilung möglicherweise immer noch Rauschen aufweist. Im Fall des überwachten Lernens kann die Abbildung von x auf y von Natur aus stochastisch sein, oder y kann eine deterministische Funktion sein, die neben den in x enthaltenen Variablen auch andere Variablen umfasst. Der Fehler, der einem Orakel entsteht, das Vorhersagen aus der wahren Verteilung p (x, y) macht, wird als Bayes-Fehler bezeichnet.
Fragen
- Bitte erläutern Sie den Bayes-Fehler intuitiv.
- Wie unterscheidet es sich von irreduziblen Fehlern?
- Kann ich Total Error = Bias + Varianz + Bayes-Fehler sagen?
- Was bedeutet „y“? inhärent stochastisch „?
Antwort
Bayes-Fehler ist der niedrigstmögliche Vorhersagefehler, der erreicht werden kann, und ist der gleich wie irreduzibler Fehler. Wenn man genau weiß, welcher Prozess die Daten generiert, werden immer noch Fehler gemacht, wenn der Prozess zufällig ist. Dies ist auch das, was mit „$ y $ ist von Natur aus stochastisch“ gemeint ist.
Wenn wir beispielsweise eine faire Münze werfen, wissen wir genau, welcher Prozess das Ergebnis erzeugt (eine Binomialverteilung). Wenn wir jedoch das Ergebnis einer Reihe von Münzwürfen vorhersagen würden, würden wir immer noch Fehler machen, da der Prozess von Natur aus zufällig (dh stochastisch) ist.
Um Ihre andere Frage zu beantworten, sind Sie in korrekt Daraus geht hervor, dass der Gesamtfehler die Summe aus (quadratischer) Vorspannung, Varianz und irreduziblem Fehler ist. Siehe auch in diesem Artikel für eine leicht verständliche Erklärung dieser drei Konzepte.
Antwort
Das Wesentliche der Statistik ist der Mangel an Informationen: Beispiel: Um die Ausgabe der Flip-Coin zu bestimmen, müssen wir die Erdgravitation am Testpunkt, die Münzkrümmung, die Windgeschwindigkeit und die Handhaltung kennen. .. Wenn es bestimmt wird, wird es sicherlich die Ausgabe dieses Experiments kennen. Aber wir können nicht alles bestimmen. Oder im bestimmenden Preis des Hauses müssen wir den Standort, den Markt, die makroökonomischen Aspekte kennen, nicht nur die Entfernung zum Zentrum und die Größe des Hauses. = > Wenn in ML der Trainingssatz nur den Abstand zum Zentrum und die Größe des Hauses enthält, ist die Ausgabe daher immer noch stochastisch und nicht bestimmbar. – > haben auch den Fehler, selbst mit dem Orakel (im Deep Learning-Buch: „y kann eine deterministische Funktion sein, die andere Variablen als die in x enthaltenen beinhaltet“)
Antwort
Von https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf Der Fehler ist definiert als:
$ min_f = Kosten (f) $
Der Bayes-Klassifikator ist definiert als: $ argmin_f = Kosten (f) $
Gesamtfehler = Bayes-Fehler + Wie viel ist Ihr Modell schlechter als Bayes-Fehler $ \ not \ equiv $ Bias + Varianz + Bayes-Fehler, der von Ihrem Modell und der inhärenten Natur von“ Verteilungsrauschen „abhängen kann
Was“ y „bedeutet, kann inhärent sein stochastisch „? Beispiel: $ y = f (x) = sin (x) $ . Was Sie als y sammeln, wird jedoch immer als $ \ tilde {y} = y + t $ verschmutzt, wobei $ t \ sim N (0, \ sigma ^ 2) $ Sie haben also keine Möglichkeit, real y zu kennen, und Ihre Kostenschätzung ist von Natur aus verschmutzt. Selbst Oracle gibt Ihnen die richtige Antwort, Sie denken, sie sind falsch.