http://www.deeplearningbook.org/contents/ml.html La pagina 116 spiega bayes errore come sotto
Il modello ideale è un oracolo che conosce semplicemente la vera distribuzione di probabilità che genera i dati. Anche un modello del genere incorrerà comunque in qualche errore su molti problemi, perché potrebbe esserci ancora del rumore nella distribuzione. Nel caso dellapprendimento supervisionato, la mappatura da x a y può essere intrinsecamente stocastica, oppure y può essere una funzione deterministica che coinvolge altre variabili oltre a quelle incluse in x. Lerrore incorso da un oracolo che fa previsioni dalla vera distribuzione p (x, y) è chiamato errore di Bayes.
Domande
- Spieghi lerrore di Bayes in modo intuitivo?
- In che modo è diverso dallerrore irriducibile?
- Posso dire errore totale = Bias + Varianza + Errore di Bayes?
- Qual è il significato di “y may be intrinsecamente stocastico “?
Risposta
Lerrore di Bayes è lerrore di previsione più basso possibile che può essere raggiunto ed è il uguale allerrore irriducibile. Se si sapesse esattamente quale processo genera i dati, verranno comunque commessi errori se il processo è casuale. Questo è anche ciò che si intende con “$ y $ è intrinsecamente stocastico”.
Ad esempio, quando si lancia una moneta equa, sappiamo esattamente quale processo genera il risultato (una distribuzione binomiale). Tuttavia, se dovessimo prevedere il risultato di una serie di lanci di monete, commetteremmo comunque errori, perché il processo è intrinsecamente casuale (cioè stocastico).
Per rispondere allaltra tua domanda, hai ragione in affermando che lerrore totale è la somma di bias (al quadrato), varianza ed errore irriducibile. Consulta anche questo articolo per una spiegazione di facile comprensione di questi tre concetti.
Risposta
lessenziale della statistica è la mancanza di informazioni: es: per determinare loutput del flip coin, dobbiamo conoscere la gravitazione terrestre nel punto di test, la curvatura della moneta, la velocità del vento, la posizione della mano ,. .. Se è determinato, conoscerà sicuramente loutput di quellesperimento. Ma non possiamo determinare tutto. O nel prezzo determinante della casa, dobbiamo conoscere la posizione, il mercato, macroeconomica, .. non solo la distanza dal centro e la dimensione della casa. = > Pertanto, in ML, se il set di addestramento include solo la distanza dal centro e le dimensioni della casa, loutput è ancora stocastico, non determinabile, – > hanno anche lerrore, anche con loracolo (nel libro Deep Learning: “y può essere una funzione deterministica che coinvolge altre variabili oltre a quelle incluse in x”)
Risposta
Da https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Per lattività di classificazione, bayes lerrore è definito come:
$ min_f = Costo (f) $
Il classificatore Bayes è definito come: $ argmin_f = Costo (f) $
Quindi errore totale = errore bayes + quanto il tuo modello è peggiore dellerrore bayes $ \ not \ equiv $ Bias + Variance + Errore di Bayes che può dipendere dal tuo modello e dalla natura intrinseca del” rumore di distribuzione “
Cosa significa” y può essere intrinsecamente Stocastico”? Ad esempio, $ y = f (x) = sin (x) $ . Ma quello che raccogli come y viene sempre inquinato come $ \ tilde {y} = y + t $ , dove $ t \ sim N (0, \ sigma ^ 2) $ Quindi non hai modo di sapere il vero y e la stima dei costi che hai è intrinsecamente inquinata. Anche Oracle ti dà la risposta giusta, pensi che abbiano torto.