http://www.deeplearningbook.org/contents/ml.html Strana 116 vysvětluje bayes chyba uvedená níže
Ideálním modelem je věštec, který jednoduše zná skutečné rozdělení pravděpodobnosti, které generuje data. I takový model bude mít při mnoha problémech stále nějakou chybu, protože v distribuci může stále existovat nějaký šum. V případě kontrolovaného učení může být mapování od x do y inherentně stochastické nebo y může být deterministická funkce, která zahrnuje i jiné proměnné kromě těch, které jsou obsaženy v x. Chyba způsobená věšteckem vytvářejícím předpovědi ze skutečné distribuce p (x, y) se nazývá Bayesova chyba.
Dotazy
- Vysvětlete prosím Bayesovu chybu intuitivně?
- Jak se liší od neredukovatelné chyby?
- Mohu říci celková chyba = chyba Bias + Variance + Bayes?
- Co znamená „y může být inherentně stochastická „?
odpověď
Bayesova chyba je nejnižší možná chyba predikce, které lze dosáhnout, a je stejně jako neredukovatelná chyba. Pokud by člověk přesně věděl, jaký proces generuje data, pak se chyby budou i nadále dělat, pokud je proces náhodný. To je také to, co se rozumí pod pojmem „$ y $ je ze své podstaty stochastické“.
Například při převrácení spravedlivé mince přesně víme, jaký proces generuje výsledek (binomické rozdělení). Pokud bychom však měli předvídat výsledek řady převrácení mincí, udělali bychom chyby, protože tento proces je ze své podstaty náhodný (tj. Stochastický).
Chcete-li odpovědět na svoji další otázku, máte pravdu v uvádí, že celková chyba je součtem (čtverců) zkreslení, rozptylu a neredukovatelné chyby. V tomto článku najdete snadno srozumitelné vysvětlení těchto tří konceptů.
Odpovědět
Podstatou statistiky je nedostatek informací: např. abychom mohli určit výstup převrácené mince, musíme znát gravitaci Země ve zkušebním bodě, zakřivení mince, rychlost větru, držení ruky ,. .. Pokud je určeno, bude určitě znát výstup tohoto experimentu. Ale nemůžeme to všechno určit. Nebo při určování ceny domu musíme znát polohu, trh, makroekonomiku, .. nejen vzdálenost do centra a velikost domu. = > Pokud tedy v ML máme tréninkovou sadu, která zahrnuje pouze vzdálenost do středu a velikost domu, je výstup stále stochastický, nelze jej určit, – > mají také chybu, dokonce i s Oracle (v knize Deep Learning: „y může být deterministická funkce, která zahrnuje i jiné proměnné kromě těch, které jsou obsaženy v x“)
odpověď
Z https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Úkol klasifikace obsahuje chyba je definována jako:
$ min_f = Cost (f) $
Bayesův klasifikátor je definován jako: $ argmin_f = Cena (f) $
Takže celková chyba = chyba Bayes + o kolik je váš model horší než chyba Bayes $ \ not \ equiv $ chyba Bias + Variance + Bayes, která může záviset na vašem modelu a inherentní povaze„ distribučního šumu “
Co znamená„ y může být inherentně stochastický „? Například $ y = f (x) = sin (x) $ . Ale to, co sbíráte jako y, je vždy znečištěno jako $ \ tilde {y} = y + t $ , kde $ t \ sim N (0, \ sigma ^ 2) $ Takže nemáte způsob, jak poznat skutečné y, a odhad nákladů, který máte, je ze své podstaty znečištěný. Dokonce i Oracle vám dá správnou odpověď, myslíte si, že se mýlí.