Warum definiert f Beta Score Beta so?

Letting $ \ beta $ ist das Gewicht in der ersten Definition, die Sie angeben, und $ \ tilde \ beta $ das Gewicht in der zweiten. Die beiden Definitionen sind äquivalent, wenn Sie $ \ tilde \ beta = \ beta ^ 2 $ festlegen, sodass diese beiden Definitionen repräsentieren nur notatorische Unterschiede in der Definition des $ F_ \ beta $ Scores. Ich habe gesehen, dass es sowohl den ersten Weg (z. B. auf der Wikipedia-Seite ) als auch den zweiten (z. B. hier definiert hat ).

Das $ F_1 $ -Maß wird erhalten, indem das harmonische Mittel der Präzision und des Rückrufs genommen wird, nämlich der Kehrwert des Durchschnitts des Kehrwerts der Präzision und des Kehrwerts des Rückrufs:

\ begin {align *} F_1 & = \ frac {1} {\ frac {1} {2} \ frac {1} {\ text {präzise}} + \ frac {1} {2} \ frac {1} {\ text {Rückruf}}} \\ & = 2 \ frac {\ text {Genauigkeit} \ cdot \ text {Rückruf}} {\ Text {Genauigkeit} + \ Text {Rückruf}} \ Ende {Ausrichtung *}

Anstatt Gewichte im Nenner zu verwenden, die gleich sind und 1 ergeben ($ \ frac {1 } {2} $ für den Rückruf und $ \ frac {1} {2} $ für die Genauigkeit), könnten wir stattdessen Gewichte zuweisen, die immer noch 1 ergeben, für die das Gewicht beim Rückruf jedoch $ \ beta $ mal so groß ist wie das Gewicht auf Präzision ($ \ frac {\ beta} {\ beta + 1} $ für Rückruf und $ \ frac {1} {\ beta + 1} $ für Präzision). Dies ergibt Ihre zweite Definition des $ F_ \ beta $ Scores:

\ begin {align *} F_ \ beta & = \ frac {1} {\ frac {1} {\ beta + 1} \ frac {1} {\ text {präzise}} + \ frac {\ beta} {\ beta + 1} \ frac {1} {\ text {Rückruf}}} \\ & = (1+ \ beta) \ frac {\ text {Genauigkeit} \ cdot \ text {Rückruf}} {\ beta \ cdot \ text {Genauigkeit} + \ text {Rückruf }} \ end {align *}

Wenn wir hier $ \ beta ^ 2 $ anstelle von $ \ beta $ verwendet hätten, wären wir zu Ihrer ersten Definition gekommen, also zu den Unterschieden zwischen den beiden Definitionen sind nur notational.

Kommentare

• Warum haben sie $ \ beta $ mit dem Präzisionsbegriff anstelle des Rückrufbegriffs multipliziert?

li> Die Differentialrechnung, die “ anspricht, warum Beta im Quadrat und nicht Beta „, ist in einer neueren Antwort enthalten unten.

Der Grund für die Definition des F-Beta-Scores mit $ \ beta ^ { 2} $ ist genau das Zitat, das Sie angeben (dh Sie möchten $ \ beta $ mal so wichtig wie die Genauigkeit anhängen), wenn Sie eine bestimmte Definition für haben Was es bedeutet, $ \ beta $ mal so wichtig wie die Genauigkeit anzuhängen.

Die besondere Art, die relative Bedeutung der beiden zu definieren Metriken, die zur Formulierung $ \ beta ^ {2} $ führen, finden Sie in Information Retrieval (Van Rijsbergen, 1979):

Definition: Die relative Bedeutung, die ein Benutzer der Präzision und dem Rückruf beimisst, ist der $ P / R $ Verhältnis bei whi ch $ \ partiell {E} / \ partiell {R} = \ partiell {E} / \ partiell {P} $ , wobei $ E = E (P, R) $ ist das Maß für die Effektivität basierend auf Präzision und Rückruf.

Die Motivation dafür Sein:

Der einfachste Weg, dies zu quantifizieren, besteht darin, den $ P / R $ ratio, bei dem der Benutzer bereit ist, ein Präzisionsinkrement gegen einen gleichen Rückrufverlust einzutauschen.

Um zu sehen, dass dies zur Formulierung $ \ beta ^ {2} $ führt, verwenden wir kann mit der allgemeinen Formel für das gewichtete harmonische Mittel von $ P $ und $ R $ beginnen und deren berechnen partielle Ableitungen in Bezug auf $ P $ und $ R $ . Die angegebene Quelle verwendet $ E $ (für “ Effektivitätsmaß „) Dies ist nur $ 1-F $ und die Erklärung ist äquivalent, ob wir $ E $ oder $ F $ .

\ begin {Gleichung} F = \ frac {1} {(\ frac { \ alpha} {P} + \ frac {1- \ alpha} {R})} \ end {Gleichung}

\ begin {Gleichung } \ partiell {F} / \ partiell {P} = \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ { 2}} \ end {Gleichung}

\ begin {Gleichung} \ partiell {F} / \ partiell {R} = \ frac {1 – \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} \ end {Gleichung}

Wenn Sie nun die Ableitungen gleich setzen, wird die Beziehung zwischen $ \ alpha $ und dem Verhältnis $ P / R $ . Da wir $ \ beta $ mal so wichtig wie die Genauigkeit anhängen möchten, werden wir das Verhältnis $ R / berücksichtigen. P $ ¹ :

\ begin {Gleichung} \ partiell {F} / \ partiell {P} = \ partiell {F} / \ partiell {R} \ rechtspfeil \ frac {\ alpha} {P ^ {2}} = \ frac {1- \ alpha} {R ^ {2}} \ rechtspfeil \ frac {R} {P. } = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ end {Gleichung}

Definieren von $ \ beta $ da dieses Verhältnis und die Neuanordnung für $ \ alpha $ die Gewichtung in Bezug auf $ \ beta ^ {2} ergibt $ :

\ begin {Gleichung} \ beta = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ rightarrow \ beta ^ {2} = \ frac {1- \ alpha} {\ alpha} \ rightarrow \ beta ^ {2} + 1 = \ frac {1} {\ alpha} \ rightarrow \ alpha = \ frac {1} {\ Beta ^ {2} + 1} \ Ende {Gleichung}

\ begin {Gleichung} 1 – \ alpha = 1 – \ frac {1 }{\Beta ^ {2} + 1} \ rightarrow \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ end {Gleichung}

Wir erhalten:

\ begin {Gleichung} F = \ frac {1} {(\ frac {1} {\ beta ^ {2} + 1} \ frac {1} { P} + \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ frac {1} {R})} \ end {Gleichung}

Welche kann neu angeordnet werden, um das Formular in Ihrer Frage anzugeben.

Wenn Sie also angesichts der angegebenen Definition $ \ beta $ mal als anhängen möchten Es ist sehr wichtig, sich als Präzision zu erinnern, dann sollte die Formulierung $ \ beta ^ {2} $ verwendet werden. Diese Interpretation gilt nicht, wenn $ \ beta $ verwendet wird.

Sie können eine Punktzahl definieren, wie Sie vorschlagen. In diesem Fall lautet die Definition für die relative Bedeutung, die Sie annehmen würden, wie Vic :

Definition: Die relative Bedeutung, die ein Benutzer der Präzision und dem Rückruf beimisst, ist der $ \ partielle {E} / \ partielle {R} = \ partielle {E} / \ partielles {P} $ -Verhältnis, bei dem $ R = P $ .

Fußnoten:

1. $ P / R $ wird in Information Retrieval verwendet, dies scheint jedoch ein Tippfehler zu sein, siehe Die Wahrheit des F-Maßes (Saski, 2007).

Referenzen:

1. C. J. Van Rijsbergen. 1979. Information Retrieval (2. Aufl.), S. 133-134
2. Y. Sasaki. 2007. „Die Wahrheit des F-Maßes“, Lehre, Lernmaterialien

Kommentare

• Dies sollte die sein akzeptierte Antwort.
• @Anakhand Der Zähler ist die Summe der Gewichte, siehe en.wikipedia.org/wiki/Harmonic_mean#Weighted_harmonic_mean

Um schnell auf etwas hinzuweisen.

Das bedeutet, dass Sie mit zunehmendem Beta-Wert mehr Wert auf Präzision legen.

Ich denke tatsächlich, dass es das Gegenteil ist – da höher ist Besser bei der F-β-Bewertung möchten Sie, dass der Nenner klein ist. Wenn Sie daher β verringern, wird das Modell weniger für eine gute Präzisionsbewertung bestraft. Wenn Sie β erhöhen, wird die F-β-Bewertung mehr bestraft, wenn Präzision ist hoch.

Wenn Sie die F-β-Bewertung so gewichten möchten, dass sie die Genauigkeit bewertet, sollte β 0 sein. < β < 1, wobei β-> 0 nur die Genauigkeit bewertet (der Zähler wird sehr klein, und das einzige, was im Nenner steht, ist der Rückruf, sodass der F-β-Wert mit zunehmendem Rückruf abnimmt).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

TLDR; Im Gegensatz zur Literatur, die alle auf eine willkürliche vorgeschlagene Definition mit einem $ \ beta $ Begriff, wie OP vorschlägt, ist tatsächlich intuitiver als der Begriff $ \ beta ^ 2 $ .

Die Antwort einer Person zeigt gut, warum $ \ beta ^ { 2} $ erscheint angesichts der von Van Rijsbergen gewählten Methode, die relative Bedeutung von Präzision und Rückruf zu definieren. Es gibt jedoch eine Überlegung, die in der Literatur fehlt, die ich hier argumentiere: Die gewählte Definition ist nicht intuitiv und unnatürlich, und wenn Sie tatsächlich $ F_ \ beta $ (in der Praxis) so wie es definiert ist, würde man schnell denken, “ die Wirkung von $ \ beta $ scheint viel aggressiver zu sein als der Wert, den ich gewählt habe „.

Um fair zu sein, ist es meistens die Zusammenfassung von Wikipedia, die irreführend ist. da es vernachlässigt wird, das subjektive Maß der Wichtigkeit zu erwähnen, während Van Rijsbergen lediglich eine mögliche Definition vorlegte, die einfach, aber nicht unbedingt die beste oder aussagekräftigste war.

Lassen Sie uns Van Rijsbergens Wahl von überprüfen Definition:

Der einfachste Weg, dies zu quantifizieren, besteht darin, den $ P / R $ ratio, bei dem der Benutzer bereit ist, ein Präzisionsinkrement gegen zu tauschen ein gleicher Rückrufverlust.

Im Allgemeinen, wenn $ R / P > \ beta $ dann ist eine Zunahme von $ P $ einflussreicher als eine Zunahme von $ R $ , während $ R $ einflussreicher ist als $ P $ wobei $ R / P < \ beta $ . Aber hier ist der Grund, warum ich argumentieren würde, dass die Gewichtung nicht intuitiv ist. Wenn $ P = R $ , erhöht sich in $ R $ sind $ \ beta ^ 2 $ mal so effektiv wie $ P $ . (Dies kann berechnet werden aus den partiellen Ableitungen in Antwort einer Person .) Wenn jemand “ sagt, möchte ich daran erinnern Wenn ich 3x wichtiger gewichtet werde als die Genauigkeit „, würde ich nicht zu der Definition springen, die “ entspricht buchstäblich ein Drittel des Rückrufwerts „, und ich würde sicherlich nicht erwarten, dass der Rückruf 9x so viel beiträgt, wenn Präzision und Rückruf gleich sind. Dies scheint in den meisten Situationen nicht praktikabel zu sein, in denen im Idealfall sowohl Präzision als auch Erinnerungswert hoch sein sollen, nur einer etwas höher als der andere.

Nachfolgend finden Sie eine visuelle Darstellung dessen, was $ F_ \ beta $ sieht aus wie. Die roten Linien markieren das Verhältnis $ R / P = \ beta $ und das Teil Ableitungen von $ F_ \ beta $ sind bei diesem Verhältnis gleich, was durch die durchgezogenen roten Steigungen angezeigt wird.

Ich werde jetzt eine alternative subjektive Definition präsentieren, die bei Genauigkeit “ entspricht und Rückruf sind gleich, Verbesserungen beim Rückruf sind $ \ gamma $ mal mehr wert als Verbesserungen bei der Genauigkeit „. Ich behaupte, dass diese Definition intuitiver ist und genauso einfach wie die Definition von Van Rijsbergen:

Wenn $ P = R $ , setzen Sie $ \ frac {\ partiell {F} / \ partiell {R}} {\ partiell {F} / \ partiell {P}} = \ gamma $ , wobei $ \ gamma $ ist die relative Bedeutung von Verbesserungen beim Abrufen über Präzision.

Ersetzen von Gleichungen, die in Antwort einer Person abgeleitet wurden:

$ \ frac {1- \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} = \ gamma \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ {2}} $

Denken Sie daran $ P = R $ vereinfacht dies zu:

$ \ gamma = \ frac {1- \ alpha} {\ alpha} $ und $ \ alpha = \ frac {1} {\ gamma + 1} $ ,

im Gegensatz zu:

$ \ beta ^ 2 = \ frac {1- \ alpha} {\ alpha} $ und $ \ alpha = \ frac {1} {\ beta ^ 2 + 1} $ unter Van Rijsbergens Formulierung.

Was bedeutet das? Eine informelle Zusammenfassung:

• Van Rijsbergens Definition $ \ Leftrightarrow $ Rückruf lautet $ \ beta $ mal so wichtig wie die Genauigkeit in Bezug auf den Wert .
• Mein Vorschlag Definition $ \ Leftrightarrow $ Rückruf ist $ \ gamma $ mal so wichtig wie Genauigkeit in Bezug auf Wertverbesserungen .
• Beide Definitionen basieren auf einem gewichteten harmonischen Mittel der Präzision und des Rückrufs sowie den Gewichtungen unter Diese beiden Definitionen können zugeordnet werden. Insbesondere entspricht das Platzieren von $ \ beta = \ sqrt {\ gamma} $ mal der Wichtigkeit in Bezug auf den Wert dem Platzieren von $ \ gamma $ mal Wichtigkeit in Bezug auf Wertverbesserungen.
• Man kann zu Recht argumentieren, dass die Verwendung einer $ \ beta $ Begriff anstelle von $ \ beta ^ 2 $ ist eine intuitivere Gewichtung.

Der Grund, warum β ^ 2 mit Präzision multipliziert wird, ist nur die Art und Weise, wie F-Scores definiert werden. Dies bedeutet, dass Sie mit zunehmendem Beta-Wert mehr Wert auf Präzision legen. Wenn Sie es mit einem Rückruf multiplizieren möchten, der auch funktionieren würde, würde dies nur bedeuten, dass Sie mit zunehmendem Beta-Wert mehr Wert auf Rückruf legen.