http://www.deeplearningbook.org/contents/ml.html 116 페이지는 베이를 설명합니다. 아래와 같은 오류
이상적인 모델은 데이터를 생성하는 실제 확률 분포를 단순히 알고있는 오라클입니다. 그러한 모델조차도 분포에 여전히 약간의 노이즈가있을 수 있기 때문에 많은 문제에서 약간의 오류가 발생합니다. 지도 학습의 경우 x에서 y 로의 매핑은 본질적으로 확률적일 수 있거나 y는 x에 포함 된 변수 외에 다른 변수를 포함하는 결정적 함수일 수 있습니다. 오라클이 실제 분포 p (x, y)에서 예측을 수행 할 때 발생하는 오류를 Bayes 오류라고합니다.
질문
- 베이 즈 오류를 직관적으로 설명해주세요.
- 환원 할 수없는 오류와 어떻게 다른가요?
- 총 오류 = 바이어스 + 분산 + 베이 즈 오류라고 말할 수 있나요?
- “y는 본질적으로 확률 적 “?
답변
베이 즈 오류는 달성 할 수있는 가장 낮은 예측 오류이며 환원 불가능한 오류와 동일합니다. 어떤 프로세스가 데이터를 생성하는지 정확히 알고 있다면 프로세스가 무작위이면 여전히 오류가 발생합니다. 이것은 또한 “$ y $는 본질적으로 확률 적입니다”라는 의미이기도합니다.
예를 들어, 공정한 동전을 던질 때 어떤 프로세스가 결과를 생성하는지 정확히 알고 있습니다 (이항 분포). 그러나 일련의 동전 던지기의 결과를 예측하는 경우 프로세스가 본질적으로 무작위 (예 : 확률 적)이기 때문에 여전히 오류가 발생합니다.
다른 질문에 대한 답은 다음과 같습니다. 총 오류는 (제곱) 편향, 분산 및 기약 할 수없는 오류의 합임을 나타냅니다. 이 세 가지 개념에 대한 이해하기 쉬운 설명은 이 문서를 참조하세요.
Answer
통계의 핵심은 정보가 부족하다는 것입니다. 예 : 플립 코인의 출력을 결정하려면 테스트 지점에서의 지구 중력, 코인 곡률, 풍속, 손 자세 등을 알아야합니다. .. 결정되면 해당 실험의 결과를 확실히 알 것입니다. 그러나 우리는 모든 것을 결정할 수 없습니다. 또는 집의 가격을 결정할 때 우리는 집의 중심까지의 거리와 크기뿐만 아니라 위치, 시장, 거시 경제 등을 알아야합니다. = > 따라서 ML에서 학습 세트에 중심까지의 거리와 집 크기 만 포함 된 경우 출력은 여전히 확률 적이며 결정할 수 없습니다.->는 오라클에서도 오류가 발생합니다 (딥 러닝 책에서 :“y는 x“에 포함 된 변수 외에 다른 변수를 포함하는 결정적 함수일 수 있습니다).
Answer
From https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . 분류 작업의 경우 베이 오류는 다음과 같이 정의됩니다.
$ min_f = Cost (f) $
Bayes Classifier는 다음과 같이 정의됩니다. $ argmin_f = Cost (f) $
그래서 총 오류 = 베이 즈 오류 + 모델이 베이 즈 오류보다 얼마나 나쁜지 $ \ not \ equiv $ Bias + Variance + Bayes 오류는 모델과”분포 잡음 “의 고유 한 특성에 따라 달라질 수 있습니다.
“y는 본질적으로 확률 적 “? 예 : $ y = f (x) = sin (x) $ . 하지만 y로 수집하는 것은 항상 $ \ tilde {y} = y + t $ 로 오염됩니다. 여기서 $ t \ sim N (0, \ sigma ^ 2) $ 따라서 실제 y를 알 수있는 방법이 없으며 비용 추정치는 본질적으로 오염되어 있습니다. 오라클조차도 올바른 답변을 제공하지만 잘못된 것이라고 생각합니다.