http://www.deeplearningbook.org/contents/ml.html Página 116 explica bayes erro conforme abaixo
O modelo ideal é um oráculo que simplesmente conhece a verdadeira distribuição de probabilidade que gera os dados. Mesmo esse modelo ainda incorrerá em alguns erros em muitos problemas, porque ainda pode haver algum ruído na distribuição. No caso da aprendizagem supervisionada, o mapeamento de x para y pode ser inerentemente estocástico, ou y pode ser uma função determinística que envolve outras variáveis além daquelas incluídas em x. O erro incorrido por um oráculo que faz previsões a partir da distribuição verdadeira p (x, y) é chamado de erro Bayes.
Perguntas
- Por favor, explique o erro de Bayes intuitivamente?
- Em que difere do erro irredutível?
- Posso dizer erro total = Polarização + Variância + erro Bayes?
- O que significa “pode ser inerentemente estocástico “?
Resposta
O erro de Bayes é o menor erro de previsão possível que pode ser alcançado e é o mesmo que erro irredutível. Se alguém souber exatamente qual processo gera os dados, erros ainda serão cometidos se o processo for aleatório. Isso também é o que significa “$ y $ é inerentemente estocástico”.
Por exemplo, ao jogar uma moeda justa, sabemos exatamente qual processo gera o resultado (uma distribuição binomial). No entanto, se tivéssemos que prever o resultado de uma série de lançamentos de moeda, ainda assim cometeríamos erros, porque o processo é inerentemente aleatório (ou seja, estocástico).
Para responder à sua outra pergunta, você está correto em afirmando que o erro total é a soma do viés (ao quadrado), da variância e do erro irredutível. Consulte também este artigo para obter uma explicação fácil de entender desses três conceitos.
Resposta
o essencial da estatística é a falta de informação: ex: para determinar a saída do flip coin, temos que saber a gravitação da terra no ponto de teste, a curvatura da moeda, a velocidade do vento, a postura da mão ,. .. Se for determinado, ele certamente conhecerá o resultado desse experimento. Mas não podemos determinar tudo. Ou na determinação do preço da casa, temos que saber a localização, o mercado, a macroeconomia, .. não apenas a distância do centro e o tamanho da casa. = > Portanto, em ML, se tivermos o conjunto de treinamento incluindo apenas a distância ao centro e o tamanho da casa, a saída ainda é estocástica, não determinável, – > também tem o erro, mesmo com o oráculo (no livro Deep Learning: “y pode ser uma função determinística que envolve outras variáveis além daquelas incluídas em x“)
Resposta
De https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Para tarefa de classificação, bayes o erro é definido como:
$ min_f = Cost (f) $
O classificador Bayes é definido como: $ argmin_f = Cost (f) $
Então erro total = erro bayes + o quanto seu modelo é pior do que erro bayes $ \ not \ equiv $ Bias + Variance + Bayes erro que pode depender do seu modelo e da natureza inerente do” ruído de distribuição “
O que significa” y pode ser inerentemente estocástico “? Por exemplo, $ y = f (x) = sin (x) $ . Mas o que você coleta como y está sempre poluído como $ \ tilde {y} = y + t $ , onde $ t \ sim N (0, \ sigma ^ 2) $ Então você não tem como saber realmente, e a estimativa de custo que você tem é inerentemente poluída. Até a Oracle lhe dá a resposta certa, você acha que eles estão errados.