f 베타 점수가 베타를 그렇게 정의하는 이유는 무엇입니까?

$ \ beta $는 제공 한 첫 번째 정의의 가중치이고 $ \ tilde \ beta $는 두 번째 정의의 가중치입니다. $ \ tilde \ beta = \ beta ^ 2 $를 설정하면 두 정의가 동일하므로이 두 정의는 다음을 나타냅니다. $ F_ \ beta $ 점수 정의의 표기 차이 만 있습니다. 첫 번째 방법 (예 : wikipedia 페이지 )과 두 번째 방법 (예 : 여기 ).

$ F_1 $ 측정 값은 정밀도와 재현율의 조화 평균, 즉 정밀도의 역수와 재현율의 역수의 역수를 취하여 구합니다.

\ begin {align *} F_1 & = \ frac {1} {\ frac {1} {2} \ frac {1} {\ text {precision}} + \ frac {1} {2} \ frac {1} {\ text {recall}}} \\ & = 2 \ frac {\ text {precision} \ cdot \ text {recall}} {\ text {precision} + \ text {recall}} \ end {align *}

분모에 합이 1 ($ \ frac {1) 인 가중치를 사용하는 대신 } {2} $ (재현율) 및 $ \ frac {1} {2} $ (정밀도)), 대신 합계가 1이지만 재현율의 가중치가 가중치의 $ \ beta $ 배인 가중치를 대신 할당 할 수 있습니다. 정밀도 (리콜의 경우 $ \ frac {\ beta} {\ beta + 1} $, 정밀도의 경우 $ \ frac {1} {\ beta + 1} $). 그러면 $ F_ \ beta $ 점수의 두 번째 정의가 생성됩니다.

\ begin {align *} F_ \ beta & = \ frac {1} {\ frac {1} {\ beta + 1} \ frac {1} {\ text {precision}} + \ frac {\ beta} {\ beta + 1} \ frac {1} {\ text {recall}}} \\ & = (1+ \ beta) \ frac {\ text {precision} \ cdot \ text {recall}} {\ beta \ cdot \ text {precision} + \ text {recall }} \ end {align *}

다시 여기에서 $ \ beta $ 대신 $ \ beta ^ 2 $를 사용했다면 첫 번째 정의에 도달했을 것이므로 두 정의의 차이점은 표기법 일뿐입니다.

코멘트

• 리콜 용어 대신 정밀도 용어에 $ \ beta $를 곱한 이유는 무엇입니까?
• ” 왜 베타가 아닌 제곱 이 아닌 베타 “가 최신 답변에 포함되었는지를 설명하는 미분 아래.
• @Anwarvic 그들은 $ \ beta $와 inverse 리콜을 곱했습니다. $ (1+ \ beta) $를 빼내고 $ \ text {precision} \ cdot \ text {recall} $로 확장 한 후 $ \ beta \ cdot \ text {precision} $ 기간이 남았습니다

$ \ beta ^ {를 사용하여 F- 베타 점수를 정의하는 이유 2} $ 는 다음에 대한 특정 정의가 주어 졌을 때 정확히 제공하는 인용문입니다 (즉, 정밀도만큼 회상하는 데 $ \ beta $ 배의 중요성을 첨부하려는 경우). 정밀도보다 회상에 $ \ beta $ 배의 중요성을 부여한다는 것이 의미합니다.

둘의 상대적 중요성을 정의하는 특별한 방법 $ \ beta ^ {2} $ 공식으로 이어지는 측정 항목은 정보 검색 (Van Rijsbergen, 1979)에서 찾을 수 있습니다.

정의 : 사용자가 정밀도와 재현율에 부여하는 상대적 중요성은 $ P / R $ 입니다. whi에 비율 ch $ \ partial {E} / \ partial {R} = \ partial {E} / \ partial {P} $ , 여기서 $ E = E (P, R) $ 는 정밀도와 재현율을 기반으로 한 효과의 척도입니다.

동기 존재 :

이를 정량화하는 가장 간단한 방법은 $ P / R $ 비율은 사용자가 동일한 리콜 손실을 위해 정밀도 증가를 거래 할 의사가있는 비율입니다.

이것이 $ \ beta ^ {2} $ 공식으로 이어지는 지 확인하기 위해 $ P $ 및 $ R $ 의 가중 조화 평균에 대한 일반 공식으로 시작하여 $ P $ 및 $ R $ 에 대한 편미분. 인용 된 출처는 $ E $ 를 사용합니다 (” 효과 측정 “의 경우). , 이는 $ 1-F $ 이며 설명은 $ E $ 또는 $ F $ .

\ begin {equation} F = \ frac {1} {(\ frac { \ alpha} {P} + \ frac {1- \ alpha} {R})} \ end {equation}

\ begin {equation } \ partial {F} / \ partial {P} = \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ { 2}} \ end {equation}

\ begin {equation} \ partial {F} / \ partial {R} = \ frac {1 -\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} \ end {equation}

이제 도함수를 서로 동일하게 설정하면 $ \ alpha $ 와 비율 $ P / R $ . 정밀도보다 재현율에 $ \ beta $ 배의 중요성을 부여하고자하므로 비율 $ R / P $ ¹ :

\ begin {equation} \ partial {F} / \ partial {P} = \ 부분 {F} / \ partial {R} \ rightarrow \ frac {\ alpha} {P ^ {2}} = \ frac {1- \ alpha} {R ^ {2}} \ rightarrow \ frac {R} {P } = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ end {equation}

$ \ beta $ 을이 비율로 바꾸고 $ \ alpha $ 를 재정렬하면 $ \ beta ^ {2}에 대한 가중치가 부여됩니다. $ :

\ begin {equation} \ beta = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ rightarrow \ 베타 ^ {2} = \ frac {1- \ alpha} {\ alpha} \ rightarrow \ beta ^ {2} + 1 = \ frac {1} {\ alpha} \ rightarrow \ alpha = \ frac {1} {\ 베타 ^ {2} + 1} \ end {equation}

\ begin {equation} 1-\ alpha = 1-\ frac {1 }{\베타 ^ {2} + 1} \ rightarrow \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ end {equation}

다음을 얻습니다.

\ begin {equation} F = \ frac {1} {(\ frac {1} {\ beta ^ {2} + 1} \ frac {1} { P} + \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ frac {1} {R})} \ end {equation}

어느 쪽 질문에 양식을 제공하기 위해 재정렬 할 수 있습니다.

따라서 인용 된 정의를 고려할 때 $ \ beta $ 번을 다음과 같이 첨부하려면 정밀도로 회상하는 것이 중요하므로 $ \ beta ^ {2} $ 공식을 사용해야합니다. 이 해석은 $ \ beta $ 를 사용하는 경우 적용되지 않습니다.

제안한대로 점수를 정의 할 수 있습니다. 이 경우 Vic 에 표시된대로 가정 할 상대적 중요도에 대한 정의는 다음과 같습니다.

정의 : 사용자가 정밀도와 재현율에 부여하는 상대적 중요성은 $ \ partial {E} / \ partial {R} = \ partial {E} / \입니다. $ R = P $ 인 부분 {P} $ 비율.

각주 :

1. $ P / R $ 는 정보 검색 에 사용되지만 오타 인 것 같습니다. F 측정의 진실 (Saski, 2007)을 참조하세요.

참조 :

1. C. J. Van Rijsbergen. 1979. Information Retrieval (2nd ed.), pp.133-134
2. Y. 사사키. 2007. “F-measure의 진실”, 교육, 자습서 자료

댓글

• 허용 된 답변입니다.
• @Anakhand 분자는 가중치의 합입니다. en.wikipedia.org/wiki/Harmonic_mean#Weighted_harmonic_mean

신속하게 지적합니다.

베타 값이 증가할수록 정밀도를 더 중요하게 생각합니다.

실제로는 그 반대라고 생각합니다. F-β 점수가 더 좋으면 분모가 작아야합니다. 따라서 β를 줄이면 정밀도 점수가 좋은 모델이 덜 처벌됩니다. β를 높이면 F-β 점수가 더 많이 벌어집니다. 정밀도가 높습니다.

F-β 점수에 가중치를 부여하여 정밀도를 평가하려면 β는 0이어야합니다. < β < 1, 여기서 β-> 0은 정밀도 만 값합니다 (분자는 매우 작아지고 분모의 유일한 것은 재현율이므로 재현율이 증가하면 F-β 점수가 감소합니다).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

TLDR; $ \ beta $ 용어는 실제로 $ \ beta ^ 2 $ 용어보다 더 직관적입니다. em>

A Person “의 답변은 $ \ beta ^ { 정밀도와 재현율의 상대적 중요성을 정의하기 위해 Van Rijsbergen이 선택한 방식에 따라 2} $ 가 나타납니다. 그러나 문헌에서 “누락 된 고려 사항이 있습니다. 여기에서 주장하는 바입니다. 선택한 정의가 직관적이지 않고 부자연 스럽습니다. 실제로 $ F_ \ beta $ (실제로는) 정의 된대로 ” $ \ beta $의 효과에 대해 빠르게 생각하게됩니다. 은 제가 선택한 값보다 훨씬 공격적인 것 같습니다 “.

공정하게 말하면 대부분 위키 백과의 요약입니다. 관련 중요도의 주관적인 척도를 언급하는 것을 게을리하는 반면 Van Rijsbergen은 단순하지만 반드시 최고이거나 가장 의미있는 정의는 아닌 가능한 정의를 제시했습니다.

Van Rijsbergen이 선택한 정의 :

이를 정량화하는 가장 간단한 방법은 $ P / R $ 사용자가 정밀도 증가분을 거래하고자하는 비율 회상 률이 동일합니다.

일반적으로 말하자면 $ R / P \ beta $ 그러면 $ P $ 의 증가가 의 증가보다 더 영향력이 있습니다. $ R $ 인 반면 $ R $ 는 $ P $ 보다 더 영향력이 있습니다. 여기서 $ R / P < \ beta $ . 그러나 가중치가 직관적이지 않다고 주장하는 이유가 여기에 있습니다. $ P = R $ 일 때 $ R $가 증가합니다. 은 $ P $ 보다 $ \ beta ^ 2 $ 배 효과적입니다. A Person “의 답변에 제공된 편미분에서 계산됩니다.) 누군가가 “라고 말할 때 정밀도보다 3 배 더 중요합니다. “, ” 정밀도에 해당하는 정의로 이동하지 않을 것입니다. 말 그대로 회상 가치의 1/3 “이며, 정밀도와 회상이 같을 때 회상이 9 배 더 기여한다고는 생각하지 않습니다. 이상적으로는 정밀도와 재현율이 모두 높기를 원하는 대부분의 상황에서는 실용적이지 않은 것 같습니다. 하나만 다른 것보다 약간 더 높게하기를 원합니다.

아래는 $ F_ \ beta $ 는 다음과 같습니다. 빨간색 선은 비율 $ R / P = \ beta $ 를 강조하고 $ F_ \ beta $ 의 파생물은 해당 비율에서 동일하며 단색의 빨간색 기울기로 표시됩니다.

이제 정밀도가 ” 인 대체 주관적 정의를 제시하겠습니다. 재현율은 동일하며, 재현율 향상은 정밀도 향상보다 $ \ gamma $ 배 더 가치가 있습니다 “. 저는이 정의가 Van Rijsbergen의 정의만큼 간단하면서도 더 직관적이라고 주장합니다.

$ P = R $ 일 때 $ \ frac {\ partial {F} / \ partial {R}} {\ partial {F} / \ partial {P}} = \ gamma $ , 여기서 $ \ gamma $ 는 정밀도보다 재현율에서 개선 된 의 상대적 중요성입니다.

A Person “의 답변에서 파생 된 방정식 대체 :

$ \ frac {1- \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} = \ gamma \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ {2}} $

기억하기 $ P = R $ , 다음과 같이 단순화됩니다.

$ \ gamma = \ frac {1- \ alpha} {\ alpha} $ 및 $ \ alpha = \ frac {1} {\ gamma + 1} $ ,

대비 :

$ \ beta ^ 2 = \ frac {1- \ alpha} {\ alpha} $ 및 $ \ alpha = \ frac {1} {\ beta ^ 2 + 1} $ Van Rijsbergen의 공식화.

이것은 무엇을 의미합니까? 비공식 요약 :

• Van Rijsbergen의 정의 $ \ Leftrightarrow $ 회상은 $입니다. \ beta $ 배가 가치 측면에서 정밀도보다 중요합니다 .
• 내 제안 정의 $ \ Leftrightarrow $ 재현율은 정밀도보다 $ \ gamma $ 배 중요합니다. 가치 향상 측면에서 .
• 두 정의 모두 정밀도 및 재현율의 가중 조화 평균과 아래의 가중치를 기반으로합니다. 이 두 정의를 매핑 할 수 있습니다. 특히 가치 측면에서 $ \ beta = \ sqrt {\ gamma} $ 배 중요도를 배치하는 것은 $ \ gamma $ 는 가치 향상 측면에서 중요성의 배입니다.
• pan class =”math-containe $ \ beta ^ 2 $ 대신 r “> $ \ beta $ 용어가 더 직관적 인 가중치입니다.

β ^ 2에 정밀도를 곱하는 이유는 F 점수가 정의되는 방식입니다. 이는 베타 값이 증가할수록 정밀도를 더 중요하게 생각한다는 것을 의미합니다. 또한 효과가있는 회상 률과 곱하고 싶다면 베타 값이 증가할수록 가치 회상 률이 더 높아집니다.

베타 값이 1보다 크면 모델이 정밀도에 비해 모델 회상 률에 더 많은주의를 기울이기를 원합니다. 반면에 1보다 작은 값은 정밀도를 더 강조합니다.