http://www.deeplearningbook.org/contents/ml.html 116ページでベイについて説明しています以下のようなエラー
理想的なモデルは、データを生成する真の確率分布を単純に知っているオラクルです。このようなモデルでも、分布にノイズが残っている可能性があるため、多くの問題でエラーが発生します。教師あり学習の場合、xからyへのマッピングは本質的に確率的であるか、yはxに含まれる変数以外の他の変数を含む決定論的関数である可能性があります。オラクルが真の分布p（x、y）から予測を行うことによって発生するエラーは、ベイズエラーと呼ばれます。
質問
- ベイズエラーを直感的に説明してください。
- 還元不可能なエラーとはどう違うのですか？
- 合計エラー=バイアス+分散+ベイズエラーと言えますか？
- 「yは本質的に確率的」？
回答
ベイズエラーは、達成可能な最小の予測エラーであり、還元不可能なエラーと同じです。どのプロセスがデータを生成するかを正確に知っている場合でも、プロセスがランダムであればエラーが発生します。これは、「$ y $は本質的に確率論的」という意味でもあります。
たとえば、公正なコインを裏返すと、どのプロセスが結果を生成するかが正確にわかります（二項分布）。ただし、一連のコイントスの結果を予測した場合でも、プロセスは本質的にランダム（つまり確率論的）であるため、エラーが発生します。
他の質問に答えるには、合計誤差は、（二乗）バイアス、分散、および還元不可能な誤差の合計であると述べます。これら3つの概念のわかりやすい説明については、このの記事も参照してください。
回答
統計の本質は情報の欠如です。例：フリップコインの出力を決定するには、テストポイントでの地球の重力、コインの曲率、風速、手の姿勢などを知る必要があります。 ..決定されれば、その実験の成果を確実に知ることができます。しかし、すべてを決定することはできません。または、家の価格を決定する際には、中心までの距離と家のサイズだけでなく、場所、市場、マクロ経済などを知る必要があります。= >したがって、MLで、中心までの距離と家のサイズのみを含むトレーニングセットがある場合、出力は依然として確率的であり、決定できません。->は、オラクルでもエラーが発生します（ディープラーニングの本では、「yはxに含まれるもの以外の他の変数を含む決定論的関数である可能性があります」）
Answer
https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf から。分類タスクの場合、ベイエラーは次のように定義されます：
$ min_f = Cost（f）$
ベイズ分類器は次のように定義されます： $ argmin_f = Cost（f）$
つまり、合計エラー=ベイズエラー+モデルがベイズエラーよりもどれだけ悪いか
「yは本質的に確率論的」？たとえば、 $ y = f（x）= sin（x）$ です。ただし、yとして収集したものは、常に $ \ tilde {y} = y + t $ として汚染されます。ここで、 $ t \ sim N（0、\ sigma ^ 2）$ したがって、実際のyを知る方法はなく、コスト見積もりは本質的に汚染されています。オラクルでさえあなたに正しい答えを与えます、あなたはそれらが間違っていると思います。