훈련 데이터 세트에서 수업의 균형을 언제 조정해야합니까?

블로그 게시물에 직관적 인 추론이 설명되어 있습니다.

p>

목표가 예측 인 경우 명확한 편향이 발생합니다. 그리고 더 나쁜 것은 표본 크기가 커짐에 따라 일관된 추정치가 없다는 점에서 영구적 인 편향이 될 것입니다.

따라서 (인공적으로) 균형 잡힌 데이터의 문제는 불균형 사례보다 더 나쁩니다. .

균형 데이터는 분류에 적합하지만 정확도 측정 항목 자체와 생산 성능에 영향을 미치는 출현 빈도에 대한 정보가 분명히 손실됩니다. .

영어 알파벳 (26 자)에서 손으로 쓴 글자를 인식한다고 가정 해 보겠습니다. 모든 문자 모양의 균형을 맞추면 모든 문자가 대략 1/26 (올바르게 또는 그렇지 않은)로 분류 될 확률이 주어 지므로 분류자는 원래 샘플에서 문자의 실제 분포를 잊어 버립니다. 그리고 분류 기가 모든 문자를 높은 정확도로 일반화하고 인식 할 수 있으면 정상 합니다 .

하지만 정확성과 가장 중요한 일반화가 “그렇게 높지”않은 경우 (정의를 제공 할 수 없습니다. “최악의 경우”라고 생각할 수 있습니다.) 잘못 분류 된 포인트가 -모든 문자에 균등하게 분배 할 수 있습니다. 다음과 같이합니다.

"A" was misclassified 10 times "B" was misclassified 10 times "C" was misclassified 11 times "D" was misclassified 10 times ...and so on 

균형을 사용하지 않는 것과는 대조적으로 ( “A”와 “C”가 텍스트로 표시)

"A" was misclassified 3 times "B" was misclassified 14 times "C" was misclassified 3 times "D" was misclassified 14 times ...and so on 

그러므로 빈번한 케이스는 오 분류가 줄어들 것입니다. 좋은지 여부는 작업에 따라 다릅니다. 자연스러운 텍스트 인식의 경우, 더 높은 빈도를 가진 문자가 원본 텍스트의 의미를 보존하여 인식 작업을 예측에 더 가깝게 가져 오기 때문에 더 실용적이라고 주장 할 수 있습니다 (의미론은 를 나타냅니다). 경향 ). 그러나 “ ECDSA 키 (엔트로피 증가-> 예측 감소)의 스크린 샷과 같은 것을 인식하려는 경우 데이터를 불균형하게 유지하는 것은 도움이되지 않습니다. 다시 말하지만, 상황에 따라 다릅니다.

가장 중요한 차이점은 정확도 추정 자체가 편향된다는 것입니다. (균형 알파벳 예에서 볼 수 있듯이), 따라서 “모델”의 동작이 가장 희귀하거나 가장 빈번한 포인트에 의해 어떻게 영향을 받는지 알 수 없습니다.

PS 정밀도 / 재현율 측정 항목을 먼저 사용하여 항상 불균형 분류의 성과를 추적하고 균형을 추가해야하는지 여부를 결정할 수 있습니다.

편집 : 추정 이론 은 표본 평균 과 모집단 평균의 차이를 정확하게 보여줍니다. 예를 들어, 알파벳 $ p (x_i | \ theta) $ 로 된 영어 글자의 실제 분포를 알고있을 수 있지만 샘플 (훈련 세트)은 그렇지 않습니다. 정확하게 추정 할 수있을만큼 충분히 큽니다 ( $ p (x_i | \ hat \ theta) $ 사용). 따라서 $ \ hat \ theta_i-\ theta_i $ 를 보상하기 위해 모집단 자체 또는 에서 알려진 매개 변수에 따라 클래스를 재조정하는 것이 좋습니다. 더 큰 샘플 (따라서 더 나은 추정치). 그러나 실제로는 모든 단계에서 편향된 데이터를 얻을 위험이 있기 때문에 “큰 샘플”이 동일하게 배포된다는 보장이 없으므로 (기술 문헌에서 수집 한 영문자 대 소설 대 전체 라이브러리) 균형이 여전히 해로울 수 있습니다. .

이 답변 은 또한 균형 조정을위한 적용 가능성 기준을 명확히해야합니다.

계급 불균형 문제는 긍정과 부정적 패턴 자체의 비율이 아니라 소수 계급에 속하는 패턴이 충분하지 않기 때문에 발생합니다.일반적으로 데이터가 충분하면 “클래스 불균형 문제”가 발생하지 않습니다.

결론적으로 학습 세트가 충분히 큰 경우 인공 균형 조정은 거의 유용하지 않습니다. 더 큰 동일하게 분산 된