Miért definiálja az f béta pontszám az ilyen bétát?

$ \ beta $ legyen az első definíció súlya, a $ \ tilde \ beta $ pedig a második súlya, a két definíció megegyezik, ha beállítja a $ \ tilde \ beta = \ beta ^ 2 $ értéket, tehát ez a két definíció csak a $ F_ \ beta $ pontszám definíciójának különbségei. Láttam, hogy meghatározta az első utat (pl. A a wikipédia oldalon ) és a másodikat (pl. itt) ).

A $ F_1 $ mértékét a pontosság és a visszahívás harmonikus átlagának megadásával kapjuk meg, nevezetesen a pontosság és a visszahívás átlagának a reciprokát:

\ begin {align *} F_1 & = \ frac {1} {\ frac {1} {2} \ frac {1} {\ text {precision}} + \ frac {1} {2} \ frac {1} {\ text {visszahívás}}} \\ & = 2 \ frac {\ text {precision} \ cdot \ text {visszahívás}} {\ text {precision} + \ text {visszahívás} \ end {align *}

Ahelyett, hogy a nevezőben olyan súlyokat használna, amelyek egyenlőek és 1-nek felelnek meg ($ \ frac {1 } {2} $ a visszahíváshoz és $ \ frac {1} {2} $ a pontossághoz), helyette olyan súlyokat rendelhetünk, amelyek még mindig 1-nek felelnek meg, de amelyek visszahívási súlya $ \ beta $ -szor akkora, mint a súly pontosságról ($ \ frac {\ beta} {\ beta + 1} $ a visszahíváshoz és $ \ frac {1} {\ beta + 1} $ a pontossághoz). Ezzel megkapja a $ F_ \ beta $ pontszám második meghatározását:

\ begin {align *} F_ \ beta & = \ frac {1} {\ frac {1} {\ beta + 1} \ frac {1} {\ text {precision}} + \ frac {\ beta} {\ beta + 1} \ frac {1} {\ text {visszahívás}}} & = (1+ \ béta) \ frac {\ text {precision} \ cdot \ text {visszahívás}} {\ beta \ cdot \ text {precision} + \ text {visszahívás }} \ end {align *}

Ismételten, ha a $ \ beta ^ 2 $ -ot használtuk volna a $ \ beta $ helyett, akkor elértük volna az első definíciót, tehát a két definíció közötti különbségek csak jelölések.

Megjegyzések

• miért szorozták a $ \ beta $ -ot a precíziós kifejezéssel a visszahívási kifejezés helyett?
• Az a differenciálszámítás, amely ” miért foglalkozik a Beta négyzet és nem Beta ” kérdésével, egy újabb válaszban szerepel. alatt.
• @Anwarvic Megszorozták a $ \ beta $ értéket az inverz visszahívással. Miután kiszámította a $ (1+ \ beta) $ értéket, és kibővítette a $ \ text {precision} \ cdot \ text {visszahívás} $ értékével, $ $ beta \ cdot \ text {precision} $ kifejezés maradt

Az F-béta pontszám meghatározásának oka a $ \ beta ^ { A 2} $ pontosan az az árajánlat, amelyet Ön megad (azaz a $ \ beta $ -ot annyiszor szeretné felidézni, mint a pontosságot), mivel adott mit jelent a $ \ beta $ csatolása annyiszor, hogy felidézzük, mint a pontosságot.

A kettő relatív fontosságának meghatározásának sajátos módja A $ \ beta ^ {2} $ megfogalmazáshoz vezető mutatók megtalálhatók az Információkeresés ben (Van Rijsbergen, 1979):

Definíció: A felhasználó relatív fontossága a pontosságnak és a visszahívásnak a $ P / R $ arány whi-nél ch $ \ részleges {E} / \ részleges {R} = \ részleges {E} / \ részleges {P} $ , ahol $ E = E (P, R) $ a pontosságon és a visszahíváson alapuló hatékonyság mértéke.

Ennek motivációja lévén:

Ennek számszerűsítésének legegyszerűbb módja a $ P / R $ arány, amelynél a felhasználó hajlandó precíziós növekményt cserélni az azonos visszahívási veszteségért.

Annak megállapításához, hogy ez a $ \ beta ^ {2} $ formulához vezet a $ P $ és $ R $ súlyozott harmonikus átlagának általános képletével indulhat, és kiszámíthatja részleges származékok a $ P $ és a $ R $ vonatkozásában. Az idézett forrás $ E $ -ot használ (” hatékonyságmérőhöz “) , ami csak $ 1-F $ , és a magyarázat ekvivalens, függetlenül attól, hogy $ E $ vagy $ F $ .

\ begin {equation} F = \ frac {1} {(\ frac { \ alpha} {P} + \ frac {1- \ alpha} {R})} \ end {egyenlet}

\ begin {egyenlet } \ részleges {F} / \ részleges {P} = \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ { 2}} \ end {egyenlet}

\ begin {egyenlet} \ részleges {F} / \ részleges {R} = \ frac {1 – \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} \ end {egyenlet}

Most, hogy a deriváltakat egymásnak egyenlővé tesszük, korlátozás áll fenn a $ \ alpha $ és a $ P / R $ . Tekintettel arra, hogy a $ \ beta $ alkalommal annyi fontosságot szeretnénk felidézni, mint a pontosságot, figyelembe vesszük a $ R / P $ ¹ :

\ begin {egyenlet} \ részleges {F} / \ részleges {P} = \ részleges {F} / \ részleges {R} \ rightarrow \ frac {\ alpha} {P ^ {2}} = \ frac {1- \ alpha} {R ^ {2}} \ rightarrow \ frac {R} {P } = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ end {egyenlet}

$ \ beta $ mivel ez az arány és a $ \ alpha $ átrendezése megadja a súlyozásokat a $ \ beta ^ {2} $ :

\ begin {equation} \ beta = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ rightarrow \ beta ^ {2} = \ frac {1- \ alpha} {\ alpha} \ rightarrow \ beta ^ {2} + 1 = \ frac {1} {\ alpha} \ rightarrow \ alpha = \ frac {1} {\ beta ^ {2} + 1} \ end {equation}

\ begin {equation} 1 – \ alpha = 1 – \ frac {1 } {\ béta ^ {2} + 1} \ rightarrow \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ end {egyenlet}

Megtaláljuk:

\ begin {equation} F = \ frac {1} {(\ frac {1} {\ beta ^ {2} + 1} \ frac {1} { P} + \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ frac {1} {R})} \ end {egyenlet}

Melyik átrendezhető, hogy megkapja az űrlapot a kérdésében.

Így az idézett definíciót figyelembe véve, ha $ \ beta $ -ot szeretne csatolni nagyon fontos, hogy felidézzük pontosságként, akkor a $ \ beta ^ {2} $ formulát kell használni. Ez az értelmezés nem áll fenn, ha valaki a $ \ beta $ szót használja.

Pontszámot meghatározhat, ahogy javasolja. Ebben az esetben, amint azt a Vic megmutatta, a feltételezett relatív fontosság meghatározása a következő:

Definíció: A felhasználó viszonylagos fontosságot tulajdonít a pontosságnak és a visszahívásnak a $ \ részleges {E} / \ részleges {R} = \ részleges {E} / \ részleges {P} $ arány, amelynél $ R = P $ .

Lábjegyzetek:

1. $ P / Az R $ -ot az információ-visszakeresés ben használják, de ez elírási hibának tűnik, lásd: Az F-mérték igazsága (Saski, 2007).

Hivatkozások:

1. C. J. Van Rijsbergen. 1979. Információkeresés (2. kiadás), 133-134. Oldal
2. Y. Sasaki. 2007. „Az F-mérték igazsága”, tanítás, oktatóanyagok

megjegyzések

• Ennek kell lennie elfogadott válasz.
• @Anakhand A számláló a súlyok összege, lásd: hu.wikipedia.org/wiki/Harmonic_mean#Weighted_harmonic_mean

Gyorsan felhívni a figyelmet valamire.

Ez azt jelenti, hogy a béta érték növekedésével a pontosságot jobban értékeli.

Valójában szerintem ennek éppen az ellenkezője van – mivel a magasabb jobb az F-β pontozásnál, akkor azt szeretné, ha a nevező kicsi lenne. Ezért, ha csökkenti a β-t, akkor a modell kevésbé büntethető, mert jó pontosságú pontszámot kapott. Ha növeli a β-t, akkor az F-β-pontszámot jobban büntetik, ha nagy a pontosság.

Ha az F-β pontozását úgy szeretné súlyozni, hogy az pontosságot érjen el, akkor a β értéke 0 < β < 1, ahol a β-> 0 csak a pontosságot értékeli (a számláló nagyon kicsi lesz, és a nevezőben csak a visszahívás szerepel, tehát az F-β pontszám csökken, ahogy a visszahívás növekszik).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

TLDR; Ellentétben a szakirodalommal, amely egy tetszőleges javasolt definícióra vezet vissza, $ \ beta $ kifejezés valójában intuitívabb, mint a $ \ beta ^ 2 $ kifejezés.

Egy személy válasza jól mutatja, hogy miért $ \ beta ^ { 2} $ jelenik meg, tekintettel arra, hogy Van Rijsbergen úgy döntött, hogy meghatározza a pontosság és a visszahívás relatív fontosságát. Van azonban olyan megfontolás, amely hiányzik a szakirodalomból, amellyel itt érvelek: a választott meghatározás értelmetlen és természetellenes, és ha valóban a $ F_ \ beta $ (a gyakorlatban) ahogyan definiálta, gyorsan gondolkodni hagy, ” a $ \ beta $ hatása sokkal agresszívebbnek tűnik, mint az az érték, amelyet én választottam “.

Hogy őszinte legyek, a Wikipédia összefoglalója leginkább félrevezető, mivel a jelentőség szubjektív mértékét nem említi, míg Van Rijsbergen csupán egy lehetséges definíciót mutatott be, amely egyszerű volt, de nem feltétlenül a legjobb vagy a legértelmesebb. meghatározás:

A számszerűsítés legegyszerűbb módja a $ P / R $ arány, amelynél a felhasználó hajlandó precíziós növekményt váltani egyenlő veszteség a visszahívásban.

Általánosságban elmondható, hogy ha $ R / P > \ beta $ , akkor a $ P $ növekedése nagyobb hatással van, mint a növekedése $ R $ , míg a $ R $ nagyobb hatással van, mint $ P $ , ahol $ R / P < \ beta $ . De itt érvelnék azzal, hogy a súlyozás nem értelmezhető. Amikor a $ P = R $ , nő a $ R $ $ \ beta ^ 2 $ -szer olyan hatékony, mint a $ P $ . (Ez a Egy személy válaszában megadott részleges származékokból kell kiszámítani.) Amikor valaki azt mondja, hogy ” szeretném visszahívni 3x súlyosabb legyen, mint a pontosság “, nem térnék át arra a definícióra, amely megegyezik a ” pontossággal, amíg a “s” szó szerint a felidézés ” értékének harmada, és biztosan nem várom el, hogy ha a pontosság és a felidézés egyenlő, akkor a felidézés 9x annyit járul hozzá. Ez nem tűnik praktikusnak a legtöbb olyan helyzetben, ahol ideális esetben azt szeretné, ha a pontosság és a visszahívás egyaránt magas lenne, csak az egyik egy kicsit magasabb lenne, mint a másik.

Az alábbiakban bemutatjuk, mit $ F_ \ beta $ néz ki. A piros vonalak kiemelik a $ R / P = \ beta $ arányt, és hogy a részleges a $ F_ \ beta $ származékai megegyeznek ezen az arányon, amelyet a folytonos piros lejtők mutatnak.

Most bemutatok egy alternatív szubjektív definíciót, amely a ” pontossággal egyenlő és a visszahívás egyenlő, a visszahívás fejlesztése $ \ gamma $ -szor többet ér, mint a precizitás ” javulása. Azt állítom, hogy ez a meghatározás intuitívabb, ugyanakkor ugyanolyan egyszerű, mint Van Rijsbergen definíciója:

Amikor $ P = R $ , állítsa be a $ \ frac {\ részleges {F} / \ részleges {R}} {\ részleges {F} / \ részleges {P}} = \ gamma $ , ahol $ \ gamma $ a relatív fontossága a fejlesztéseknek a pontossággal szembeni visszahívásában.

A Egy személy válaszából levezetett egyenletek behelyettesítése:

$ \ frac {1- \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} = \ gamma \ frac {\ alfa} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ {2}} $

Erre emlékezve $ P = R $ , ez a következőkre egyszerűsödik:

$ \ gamma = \ frac {1- \ alpha} {\ alpha} $ és $ \ alpha = \ frac {1} {\ gamma + 1} $ ,

ellentétben a következőkkel:

$ \ beta ^ 2 = \ frac {1- \ alpha} {\ alpha} $ és $ \ alpha = \ frac {1} {\ beta ^ 2 + 1} $ Van Rijsbergen megfogalmazása alatt.

Mit jelent ez? Informális összefoglaló:

• Van Rijsbergen definíciója $ \ Leftrightarrow $ a $ \ beta $ olyan fontos, mint a pontosság értéke szempontjából.
• Javasolt meghatározás $ \ Leftrightarrow $ visszahívás $ \ gamma $ olyan fontos, mint a pontosság az érték javulása szempontjából .
• Mindkét meghatározás a pontosság és a visszahívás súlyozott harmonikus átlagán, valamint a ez a két definíció leképezhető. Konkrétan, ha a $ \ beta = \ sqrt {\ gamma} $ fontossága az érték szempontjából megegyezik a $ \ gamma $ -szeres fontosságú az érték javulásának szempontjából.
• Védhetõen állíthatjuk, hogy a $ \ beta $ kifejezés a $ \ beta ^ 2 $ helyett intuitívabb súlyozás.

Az oka annak, hogy a β ^ 2 pontosan meg van szorozva, csak az F-Pontszámok meghatározásának módja. Ez azt jelenti, hogy a béta érték növekedésével a pontosságot jobban értékeli. Ha meg szeretné szaporítani azt a visszahívással, amely szintén működne, az csak azt jelentené, hogy a béta érték növekedésével a visszahívás értéke is nagyobb. “>

Az 1-nél nagyobb bétaérték azt jelenti, hogy azt szeretnénk, ha modellünk nagyobb figyelmet fordítana a Visszahívás modellre a Precisionhez képest. Másrészt az 1-nél kisebb érték nagyobb hangsúlyt fektet a Precízióra.