http://www.deeplearningbook.org/contents/ml.html Strona 116 wyjaśnia bayes błąd jak poniżej
Idealnym modelem jest wyrocznia, która po prostu zna prawdziwy rozkład prawdopodobieństwa, który generuje dane. Nawet taki model nadal będzie powodować błędy w wielu problemach, ponieważ w dystrybucji mogą nadal występować szumy. W przypadku uczenia się nadzorowanego mapowanie od x do y może być z natury stochastyczne lub y może być funkcją deterministyczną, która obejmuje inne zmienne poza tymi zawartymi w x. Błąd popełniony przez wyrocznię dokonującą prognoz na podstawie prawdziwego rozkładu p (x, y) nazywany jest błędem Bayesa.
Pytania
- Proszę wyjaśnić błąd Bayesa intuicyjnie?
- Czym różni się to od błędu nieredukowalnego?
- Czy mogę powiedzieć, że błąd całkowity = odchylenie + odchylenie + błąd Bayesa?
- Co oznacza „y może być z natury stochastyczny ”?
Odpowiedź
Błąd Bayesa to najniższy możliwy błąd przewidywania, jaki można osiągnąć i czy tak samo jak nieredukowalny błąd. Jeśli ktoś dokładnie wiedziałby, jaki proces generuje dane, to nadal będą popełnione błędy, jeśli proces jest losowy. To również oznacza, że „$ y $ jest z natury stochastyczne”.
Na przykład, kiedy rzucamy uczciwą monetą, wiemy dokładnie, jaki proces generuje wynik (rozkład dwumianowy). Gdybyśmy jednak mieli przewidzieć wynik serii rzutów monetą, nadal popełnilibyśmy błędy, ponieważ proces jest z natury losowy (tj. Stochastyczny).
Odpowiadając na inne pytanie, masz rację stwierdzając, że całkowity błąd jest sumą (do kwadratu) odchylenia, wariancji i błędu nieredukowalnego. Zobacz także ten artykuł, aby zapoznać się z łatwym do zrozumienia wyjaśnieniem tych trzech pojęć.
Odpowiedź
podstawową statystyką jest brak informacji: np. aby określić wydajność rzutu monetą, musimy znać grawitację ziemi w punkcie testowym, krzywiznę monety, prędkość wiatru, pozycję dłoni. .. Jeśli zostanie ustalone, na pewno pozna wynik tego eksperymentu. Ale nie możemy tego wszystkiego określić. Albo przy ustalaniu ceny domu musimy znać lokalizację, rynek, dane makroekonomiczne … nie tylko odległość do centrum i wielkość domu. = > Dlatego w ML, jeśli mamy zestaw treningowy obejmujący tylko odległość do środka i rozmiar domu, wynik jest nadal stochastyczny, niemożliwy do określenia, – > mają również błąd, nawet z wyrocznią (w książce Deep Learning: „y może być funkcją deterministyczną, która obejmuje inne zmienne poza tymi zawartymi w x”)
Odpowiedź
From https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . W przypadku zadania klasyfikacyjnego bayes błąd jest zdefiniowany jako:
$ min_f = Cost (f) $
Klasyfikator Bayesa jest zdefiniowany jako: $ argmin_f = Koszt (f) $
Więc całkowity błąd = błąd Bayesa + o ile twój model jest gorszy niż błąd Bayesa $ \ not \ equiv $ Odchylenie + Wariancja + błąd Bayesa, który może zależeć od twojego modelu i nieodłącznej natury” szumu dystrybucji „
Co oznacza” y „może być z natury rzeczy stochastyczny ”? Na przykład $ y = f (x) = sin (x) $ . Ale to, co zbierzesz jako y, jest zawsze zanieczyszczone jako $ \ tilde {y} = y + t $ , gdzie $ t \ sim N (0, \ sigma ^ 2) $ Więc nie masz możliwości poznania prawdziwego y, a oszacowanie kosztów, które masz, jest z natury zanieczyszczone. Nawet Oracle daje ci właściwą odpowiedź, myślisz, że się mylą.