Waarom definieert de f bèta-score bèta zo?

$ \ beta $ is het gewicht in de eerste definitie die u opgeeft en $ \ tilde \ beta $ het gewicht in de tweede, de twee definities zijn equivalent wanneer u $ \ tilde \ beta = \ beta ^ 2 $ instelt, dus deze twee definities vertegenwoordigen alleen notationele verschillen in de definitie van de $ F_ \ beta $ score. Ik heb gezien dat het zowel de eerste manier definieerde (bijvoorbeeld op de wikipedia-pagina ) en de tweede (bijvoorbeeld hier ).

De $ F_1 $ -maat wordt verkregen door het harmonische gemiddelde van precisie en herinnering te nemen, namelijk de reciproque van het gemiddelde van de reciproque van precisie en de reciproque van recall:

\ begin {align *} F_1 & = \ frac {1} {\ frac {1} {2} \ frac {1} {\ text {precision}} + \ frac {1} {2} \ frac {1} {\ text {recall}}} \\ & = 2 \ frac {\ text {precisie} \ cdot \ text {recall}} {\ text {precision} + \ text {recall}} \ end {align *}

In plaats van gewichten in de noemer te gebruiken die gelijk zijn aan en optellen tot 1 ($ \ frac {1 } {2} $ voor terugroepen en $ \ frac {1} {2} $ voor precisie), kunnen we in plaats daarvan gewichten toewijzen die nog steeds op 1 staan, maar waarvoor het gewicht bij terugroepen $ \ bèta $ keer zo groot is als het gewicht op precisie ($ \ frac {\ beta} {\ beta + 1} $ voor terugroepen en $ \ frac {1} {\ beta + 1} $ voor precisie). Dit levert je tweede definitie van de $ F_ \ beta $ score op:

\ begin {align *} F_ \ beta & = \ frac {1} {\ frac {1} {\ beta + 1} \ frac {1} {\ text {precision}} + \ frac {\ beta} {\ beta + 1} \ frac {1} {\ text {recall}}} \\ & = (1+ \ beta) \ frac {\ text {precisie} \ cdot \ text {recall}} {\ beta \ cdot \ text {precisie} + \ text {recall }} \ end {align *}

Nogmaals, als we $ \ beta ^ 2 $ in plaats van $ \ beta $ hier hadden gebruikt, zouden we bij je eerste definitie zijn gekomen, dus de verschillen tussen de twee definities zijn slechts een notatie.

Opmerkingen

• waarom hebben ze $ \ beta $ vermenigvuldigd met de precisieterm in plaats van de terugroepterm?
• De differentiaalrekening die ” behandelt waarom Beta kwadraat en niet Beta ” is opgenomen in een nieuwer antwoord hieronder.
• @Anwarvic Ze hebben $ \ beta $ vermenigvuldigd met de inverse terugroepactie. Nadat $ (1+ \ beta) $ is weggelaten en uitgebreid met $ \ text {precision} \ cdot \ text {recall} $ is er een $ \ beta \ cdot \ text {precision} $ term over

De reden voor het definiëren van de F-beta-score met $ \ beta ^ { 2} $ is precies het citaat dat u opgeeft (dat wil zeggen dat u $ \ beta $ keer zoveel belangrijkheid om te onthouden als precisie wilt bijvoegen) gegeven een bepaalde definitie voor wat het betekent om $ \ beta $ keer zo belangrijk te onthouden als precisie.

De specifieke manier om het relatieve belang van de twee te definiëren statistieken die leiden naar de $ \ beta ^ {2} $ -formulering zijn te vinden in Information Retrieval (Van Rijsbergen, 1979):

Definitie: het relatieve belang dat een gebruiker hecht aan precisie en herinnering is de $ P / R $ ratio op whi ch $ \ partieel {E} / \ partieel {R} = \ partieel {E} / \ partieel {P} $ , waarbij $ E = E (P, R) $ is de maatstaf voor effectiviteit op basis van precisie en herinnering.

De motivatie hiervoor zijnde:

De eenvoudigste manier die ik ken om dit te kwantificeren is door de $ P / R $ ratio waarbij de gebruiker bereid is een toename in precisie in te ruilen voor een gelijk verlies aan terugroepactie.

Om te zien dat dit leidt tot de $ \ beta ^ {2} $ formulering, kan beginnen met de algemene formule voor het gewogen harmonische gemiddelde van $ P $ en $ R $ en hun gedeeltelijke afgeleiden met betrekking tot $ P $ en $ R $ . De geciteerde bron gebruikt $ E $ (voor ” effectiviteitsmeting “) , wat slechts $ 1-F $ is en de uitleg is gelijk, ongeacht of we $ E $ of $ F $ .

\ begin {equation} F = \ frac {1} {(\ frac { \ alpha} {P} + \ frac {1- \ alpha} {R})} \ end {equation}

\ begin {equation } \ gedeeltelijk {F} / \ gedeeltelijk {P} = \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ { 2}} \ end {equation}

\ begin {equation} \ partieel {F} / \ partieel {R} = \ frac {1 – \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} \ end {equation}

Door nu de afgeleiden aan elkaar gelijk te stellen, wordt de relatie tussen $ \ alpha $ en de verhouding $ P / R $ . Gezien het feit dat we $ \ beta $ keer zoveel belangrijkheid willen toevoegen om te onthouden als precisie, zullen we rekening houden met de verhouding $ R / P $ ¹ :

\ begin {equation} \ partieel {F} / \ partieel {P} = \ gedeeltelijk {F} / \ gedeeltelijk {R} \ rightarrow \ frac {\ alpha} {P ^ {2}} = \ frac {1- \ alpha} {R ^ {2}} \ rightarrow \ frac {R} {P } = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ end {equation}

$ \ beta $ aangezien deze verhouding en herschikking voor $ \ alpha $ de wegingen geeft in termen van $ \ beta ^ {2} $ :

\ begin {equation} \ beta = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ rightarrow \ beta ^ {2} = \ frac {1- \ alpha} {\ alpha} \ rightarrow \ beta ^ {2} + 1 = \ frac {1} {\ alpha} \ rightarrow \ alpha = \ frac {1} {\ beta ^ {2} + 1} \ end {equation}

\ begin {equation} 1 – \ alpha = 1 – \ frac {1 } {\ bèta ^ {2} + 1} \ rightarrow \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ end {equation}

We krijgen:

\ begin {equation} F = \ frac {1} {(\ frac {1} {\ beta ^ {2} + 1} \ frac {1} { P} + \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ frac {1} {R})} \ end {equation}

Welke kan worden herschikt om de vorm in uw vraag te geven.

Dus, gegeven de geciteerde definitie, als u $ \ beta $ keer wilt toevoegen als veel belang om te onthouden als precisie, dan moet de $ \ beta ^ {2} $ -formulering worden gebruikt. Deze interpretatie gaat niet op als men $ \ beta $ gebruikt.

Je zou een score kunnen definiëren zoals je suggereert. In dit geval, zoals Vic heeft laten zien, is de definitie voor het relatieve belang dat u aanneemt:

Definitie: het relatieve belang dat een gebruiker hecht aan precisie en terugroepen is de $ \ partiële {E} / \ partiële {R} = \ partiële {E} / \ gedeeltelijke {P} $ -verhouding waarbij $ R = P $ .

Voetnoten:

1. $ P / R $ wordt gebruikt bij Information Retrieval , maar dit lijkt een typefout te zijn, zie The Truth of F-Measure (Saski, 2007).

Referenties:

1. C. J. Van Rijsbergen. 1979. Information Retrieval (2e ed.), Pp. 133-134
2. Y. Sasaki. 2007. “The Truth of F-Measure”, lesgeven, lesmateriaal

Reacties

• Dit zou de geaccepteerd antwoord.
• @Anakhand De teller is de som van de gewichten, zie en.wikipedia.org/wiki/Harmonic_mean#Weighted_harmonic_mean

Om snel iets aan te wijzen.

Het betekent dat naarmate de bètawaarde toeneemt, u precisie meer waardeert.

Ik denk eigenlijk dat het het tegenovergestelde is – aangezien hoger is beter in F-β-score, wilt u dat de noemer klein is. Als u β verlaagt, wordt het model dus minder gestraft voor een goede precisie-score. Als u β verhoogt, wordt de F-β-score meer afgestraft als precisie is hoog.

Als u de F-β-score zo wilt wegen dat deze de nauwkeurigheid aangeeft, moet β 0 zijn < β < 1, waarbij β-> 0 alleen precisie waardeert (de teller wordt erg klein en het enige in de noemer is terugroepen, dus de F-β-score neemt af naarmate de herinnering toeneemt).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

TLDR; In tegenstelling tot de literatuur die allemaal teruggaat naar een willekeurig voorgestelde definitie, gebruik je een $ \ beta $ -term, zoals OP suggereert, is eigenlijk intuïtiever dan de $ \ beta ^ 2 $ -term.

Het antwoord van een persoon doet er goed aan te laten zien waarom $ \ beta ^ { 2} $ verschijnt, gezien de door Van Rijsbergen gekozen manier om het relatieve belang van precisie en herinnering te definiëren. Er is echter een overweging die ontbreekt in de literatuur, die ik hier betoog: de gekozen definitie is niet intuïtief en onnatuurlijk, en als je daadwerkelijk $ F_ \ beta $ (in de praktijk) zoals het is gedefinieerd, zou je snel aan het denken moeten blijven, ” het effect van $ \ beta $ lijkt veel agressiever dan de waarde die ik “heb gekozen “.

Om eerlijk te zijn, is het voornamelijk de samenvatting van Wikipedia die misleidend is, omdat het nalaat de subjectieve maatstaf van belang te noemen, terwijl Van Rijsbergen slechts een mogelijke definitie presenteerde die eenvoudig was, maar niet noodzakelijk de beste of meest betekenisvolle.

Laten we eens kijken naar de keuze van Van Rijsbergen voor definitie:

De eenvoudigste manier die ik ken om dit te kwantificeren is door de $ P / R $ ratio waarbij de gebruiker bereid is een toename in precisie in te ruilen voor een gelijk verlies aan terugroepactie.

In het algemeen geldt: if $ R / P > \ beta $ , dan is een toename van $ P $ invloedrijker dan een toename van $ R $ , terwijl $ R $ invloedrijker is dan $ P $ waarbij $ R / P < \ beta $ . Maar hier is waarom ik zou beweren dat de weging niet intuïtief is. Wanneer $ P = R $ stijgt in $ R $ zijn $ \ beta ^ 2 $ keer zo effectief als $ P $ . (Dit kan worden berekend op basis van de partiële afgeleiden in het antwoord van A Person “.) Wanneer iemand ” zegt, wil ik dit herinneren 3x belangrijker worden dan precisie “, zou ik niet naar de definitie springen die gelijk staat aan ” precisie zal worden bestraft totdat het letterlijk een derde van de waarde van recall “, en ik zou zeker niet verwachten dat wanneer precisie en herinnering gelijk zijn, recall 9x zoveel bijdraagt. Dat lijkt niet praktisch in de meeste situaties waarin u idealiter zowel precisie als herinnering hoog wilt houden, de ene iets hoger dan de andere.

Hieronder ziet u een visuele weergave van wat $ F_ \ beta $ ziet eruit. De rode lijnen markeren de verhouding $ R / P = \ beta $ en dat de gedeeltelijke afgeleiden van $ F_ \ beta $ zijn gelijk in die verhouding, aangegeven door de effen rode hellingen.

Ik zal nu een alternatieve subjectieve definitie presenteren, die gelijk is aan ” wanneer precisie en herinneren zijn gelijk, verbeteringen in terugroepen zijn $ \ gamma $ keer meer waard dan verbeteringen in precisie “. Ik beargumenteer dat deze definitie intuïtiever is, maar even simpel als de definitie van Van Rijsbergen:

Wanneer $ P = R $ , stel $ \ frac {\ partieel {F} / \ partieel {R}} {\ partieel {F} / \ partieel {P}} = \ gamma $ , waarbij $ \ gamma $ is het relatieve belang van verbeteringen in herinnering boven precisie.

Vergelijkingen vervangen die zijn afgeleid in Het antwoord van een persoon “:

$ \ frac {1- \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} = \ gamma \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ {2}} $

Onthoud dat $ P = R $ , dit vereenvoudigt tot:

$ \ gamma = \ frac {1- \ alpha} {\ alpha} $ en $ \ alpha = \ frac {1} {\ gamma + 1} $ ,

in tegenstelling tot:

$ \ beta ^ 2 = \ frac {1- \ alpha} {\ alpha} $ en $ \ alpha = \ frac {1} {\ beta ^ 2 + 1} $ onder de formulering van Van Rijsbergen.

Wat betekent dit? Een informele samenvatting:

• Van Rijsbergen “s definitie $ \ Leftrightarrow $ recall is $ \ beta $ keer zo belangrijk als precisie in termen van waarde .
• Mijn voorgestelde definitie $ \ Leftrightarrow $ recall is $ \ gamma $ keer zo belangrijk als precisie in termen van verbeteringen in waarde .
• Beide definities zijn gebaseerd op een gewogen harmonisch gemiddelde van precisie en herinnering, en de wegingen onder deze twee definities kunnen in kaart worden gebracht. Specifiek is het plaatsen van $ \ beta = \ sqrt {\ gamma} $ maal belangrijkheid in termen van waarde gelijk aan het plaatsen van $ \ gamma $ keer het belang in termen van waardeverbeteringen.
• Men kan verdedigbaar stellen dat het gebruik van een $ \ beta $ term in plaats van $ \ beta ^ 2 $ is een meer intuïtieve weging.

De reden dat β ^ 2 met precisie wordt vermenigvuldigd, is precies de manier waarop F-scores zijn gedefinieerd. Het betekent dat naarmate de bètawaarde toeneemt, u precisie meer waardeert. Als je het zou willen vermenigvuldigen met terugroepen zou dat ook werken, dan zou dat gewoon betekenen dat als de bètawaarde toeneemt, je meer waarde hecht aan terugroepen.