Python에서 sklearn.metrics를 사용하여 모델 메트릭을 테스트하는 동안 평균 정밀도 (average_precision_score 포함) 및 정밀도 (classification_report 포함)를 계산했습니다. 그러나 나는 다른 대답을 얻었습니다 (각각 0.89 대 0.93). 나는 둘 다에 대한 문서를 읽고 방정식이 다르다는 것을 알고 있지만 두 가지의 차이점과 다른 하나를 사용할 때에 대한 직관적 인 설명을 얻고 싶었습니다.
댓글
- 사람들이 다루기 어려울 것입니다. 해석하는 데 문제가있는 문서에 링크해야합니다. & 이해하지 못하는 특정 텍스트 / 방정식을 복사하십시오 '. 등.이를 해석 할 수 있도록 충분한 컨텍스트를 제공해야합니다. 여기에있는 스레드가 독립적으로 작동 할 수 있기를 바랍니다.
- 이 도움말은 평균 평균 정밀도 (mAP) 분석 예제와 함께 자세한 설명을 제공합니다.
답변
정밀도는 특정 결정 임계 값에서의 정밀도를 나타냅니다. 예를 들어 0.5 미만의 모델 출력을 음수로 계산하고 0.5보다 큰 경우 양수로 계산합니다. 그러나 때로는 (특히 클래스가 균형이 맞지 않거나 재현율보다 정밀도를 선호하거나 그 반대의 경우)이 임계 값을 변경할 수 있습니다. 평균 정밀도는 가능한 모든 임계 값에서 평균 정밀도를 제공하며 이는 정밀도-재현율 곡선 아래의 영역과 유사합니다. 특정 결정 기준을 고려하지 않고 모델이 예측을 얼마나 잘 정렬하는지 비교하는 데 유용한 측정 항목입니다.
참조 : https://scikit-learn.org/stable/modules/generated/sklearn.metrics.average_precision_score.html
답변
정밀도는 Pr = TP / (TP + FP) 여기서 TP FP는 참 양성 및 거짓 양성입니다. 따라서이 측정 항목을 사용하여 분류기와 같은 시스템을 평가하여 얼마나 정확하게 긍정을 찾았는지 알 수 있습니다. 분류자가 실제로 False라도 True 항목을 표시하면 FP가 증가하여 Pr이 감소합니다. 따라서 시스템이 정확하지 않습니다. 따라서 분류 자의 경우 어떤 항목이 클래스에 속할 가능성이 가장 높은지 알 필요가 없습니다.
어디에서 음악을 검색하는 앱을 만들었다 고 가정 해 보겠습니다. 동영상. 따라서 노래에 대한 쿼리가 작성되면 (내가 휴식을 취하고 싶다고 말하자) 쿼리에서 검색된 처음 5 개 항목이 노래 또는 밴드 “Queen”과 전혀 관련이없고 6에서 10까지의 항목이 관련되어있는 경우 그들에게 당신의 앱은 완전히 낭비입니다. 따라서 순서가 중요한 이러한 경우 정밀도와 재현율 (Re = TP / (TP + FN))을 계산하고 곡선 아래 면적은 MAP (평균 평균 정밀도)입니다.
아이디어는 다음과 같습니다. 실제 항목의 수가 고정되어 있으므로 다음 항목으로 이동하면 재현율이 증가하거나 (진 양성 발생시) 정밀도가 감소하는 경우 (거짓 양성 발생시) 동일하게 유지됩니다 ( FP가 발생한 경우) 동일하게 유지되거나 증가합니다 (TP가 발생한 경우). 시작시 관련없는 결과를 얻는 경우 정밀도는 거의 0으로 유지되어 MAP 0이됩니다. 시작 (기본적으로 FP가 없음을 의미 함)이므로 정밀도가 1에 가까워서 MAP가 1에 가까워 시스템이 최상의 시스템임을 인증합니다.
이 기사에서는 예제와 함께 자세한 설명을 제공합니다.