http://www.deeplearningbook.org/contents/ml.html La página 116 explica bayes error como se muestra a continuación
El modelo ideal es un oráculo que simplemente conoce la verdadera distribución de probabilidad que genera los datos. Incluso un modelo de este tipo seguirá incurriendo en algún error en muchos problemas, porque todavía puede haber algún ruido en la distribución. En el caso del aprendizaje supervisado, el mapeo de xay puede ser inherentemente estocástico, o y puede ser una función determinista que involucra otras variables además de las incluidas en x. El error en el que incurre un oráculo al hacer predicciones a partir de la distribución verdadera p (x, y) se denomina error de Bayes.
Preguntas
- Explique el error de Bayes de forma intuitiva.
- ¿En qué se diferencia del error irreducible?
- ¿Puedo decir error total = sesgo + varianza + error de Bayes?
- ¿Qué significa «y puede ser inherentemente estocástico «?
Respuesta
El error de Bayes es el error de predicción más bajo posible que se puede lograr y es el lo mismo que el error irreductible. Si uno supiera exactamente qué proceso genera los datos, se seguirán cometiendo errores si el proceso es aleatorio. Esto también es lo que se entiende por «$ y $ es inherentemente estocástico».
Por ejemplo, cuando se lanza una moneda al aire, sabemos exactamente qué proceso genera el resultado (una distribución binomial). Sin embargo, si tuviéramos que predecir el resultado de una serie de lanzamientos de monedas, aún cometeríamos errores, porque el proceso es inherentemente aleatorio (es decir, estocástico).
Para responder a su otra pregunta, tiene razón en indicando que el error total es la suma del sesgo (al cuadrado), la varianza y el error irreducible. Consulte también este artículo para obtener una explicación fácil de entender de estos tres conceptos.
Respuesta
lo esencial de la estadística es la falta de información: ej: para determinar la salida de una moneda al aire, tenemos que conocer la gravitación de la tierra en el punto de prueba, la curvatura de la moneda, la velocidad del viento, la postura de la mano ,. .. Si se determina, seguramente conocerá el resultado de ese experimento. Pero no podemos determinarlo todo. O en el precio determinante de la casa, tenemos que conocer la ubicación, el mercado, macroeconómico, .. no solo la distancia al centro y el tamaño de la casa. = > Por lo tanto, en ML, si el conjunto de entrenamiento solo incluye la distancia al centro y el tamaño de la casa, la salida sigue siendo estocástica, no determinable, – > también tienen el error, incluso con el oráculo (en el libro de Deep Learning: «y puede ser una función determinista que involucra otras variables además de las incluidas en x»)
Respuesta
De https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Para la tarea de clasificación, bayes el error se define como:
$ min_f = Cost (f) $
El clasificador de Bayes se define como: $ argmin_f = Cost (f) $
Entonces error total = error de bayes + cuánto es peor su modelo que error de bayes $ \ not \ equiv $ Sesgo + Varianza + Error de Bayes que puede depender de su modelo y la naturaleza inherente del» ruido de distribución «
¿Qué significa» y puede ser inherentemente estocástico «? Por ejemplo, $ y = f (x) = sin (x) $ . Pero lo que recopila como y siempre está contaminado como $ \ tilde {y} = y + t $ , donde $ t \ sim N (0, \ sigma ^ 2) $ Por lo tanto, no tiene forma de saberlo realmente, y la estimación de costos que tiene está inherentemente contaminada. Incluso Oracle le da la respuesta correcta, cree que están equivocados.