Proč f beta skóre takto definuje beta?

Nechat $ \ beta $ je váha v první definici, kterou zadáte, a $ \ tilde \ beta $ váha ve druhé, obě definice jsou ekvivalentní, když nastavíte $ \ tilde \ beta = \ beta ^ 2 $, takže tyto dvě definice představují pouze notační rozdíly v definici skóre $ F_ \ beta $. Viděl jsem, že je definován jak první cestou (např. Na stránce wikipedia ), tak druhou (např. zde ).

Míra $ F_1 $ se získá převzetím harmonického průměru přesnosti a odvolání, jmenovitě převrácené hodnoty průměru převrácené hodnoty přesnosti a převrácené hodnoty:

\ begin {align *} F_1 & = \ frac {1} {\ frac {1} {2} \ frac {1} {\ text {precision}} + \ frac {1} {2} \ frac {1} {\ text {recall}}} \\ & = 2 \ frac {\ text {precision} \ cdot \ text {recall}} {\ text {precision} + \ text {recall}} \ end {align *}

Místo použití váh ve jmenovateli, které jsou stejné a součet 1 ($ \ frac {1 } {2} $ za svolání a $ \ frac {1} {2} $ za přesnost), můžeme místo toho přiřadit váhy, které jsou stále součtem 1, ale jejichž váha při svolání je $ \ beta $ krát větší než váha na přesnost ($ \ frac {\ beta} {\ beta + 1} $ za stažení a $ \ frac {1} {\ beta + 1} $ za přesnost). Získáte tak druhou definici skóre $ F_ \ beta $:

\ begin {align *} F_ \ beta & = \ frac {1} {\ frac {1} {\ beta + 1} \ frac {1} {\ text {precision}} + \ frac {\ beta} {\ beta + 1} \ frac {1} {\ text {recall}}} \\ & = (1+ \ beta) \ frac {\ text {přesnost} \ cdot \ text {recall}} {\ beta \ cdot \ text {přesnost} + \ text {odvolání }} \ end {align *}

Opět platí, že kdybychom zde místo $ \ beta $ použili $ \ beta ^ 2 $, dospěli bychom k vaší první definici, takže rozdíly mezi těmito dvěma definicemi jsou jen notační.

Komentáře

• proč namnožili $ \ beta $ s termínem přesnosti namísto termínu vyvolání?
• Diferenciální počet, který řeší “ proč Beta na druhou a ne Beta “ je zahrnut v novější odpovědi níže.
• @Anwarvic Násobili $ \ beta $ s inverzním vyvoláním. Po vyčíslení $ (1+ \ beta) $ a rozšíření o $ \ text {přesnost} \ cdot \ text {recall} $ zbývá $ \ beta \ cdot \ text {přesnost} $ termín

Důvod pro definování skóre F-beta pomocí $ \ beta ^ { 2} $ je přesně nabídka, kterou poskytnete (tj. Chcete připojit $ \ beta $ krát větší důležitost, než si vzpomenout na přesnost) vzhledem k konkrétní definici pro co to znamená přikládat $ \ beta $ tolik času na připomenutí, než je přesnost.

Zvláštní způsob definování relativní důležitosti těchto dvou metriky, které vedou k $ \ beta ^ {2} $ formulaci najdete v načítání informací (Van Rijsbergen, 1979):

Definice: Relativní důležitost, kterou uživatel přikládá přesnosti a vyvolání, je $ P / R $ poměr při whi ch $ \ částečné {E} / \ částečné {R} = \ částečné {E} / \ částečné {P} $ , kde $ E = E (P, R) $ je měřítkem účinnosti založené na přesnosti a odvolání.

Motivace k tomuto bytí:

Nejjednodušší způsob jak to kvantifikovat je určit $ P / R $ rozpětí> poměr, při kterém je uživatel ochoten obchodovat s přírůstkem přesnosti za stejnou ztrátu při vyvolání.

Abychom zjistili, že to vede k formulaci $ \ beta ^ {2} $ , mohou začít obecným vzorcem pro vážený harmonický průměr $ P $ a $ R $ a vypočítat jejich částečné deriváty s ohledem na $ P $ a $ R $ . Citovaný zdroj používá $ E $ (pro “ měřítko účinnosti „) , což je jen $ 1-F $ a vysvětlení je ekvivalentní, ať už vezmeme v úvahu $ E $ nebo $ F $ .

\ begin {equation} F = \ frac {1} {(\ frac { \ alpha} {P} + \ frac {1- \ alpha} {R})} \ end {rovnice}

\ begin {rovnice } \ částečné {F} / \ částečné {P} = \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ { 2}} \ end {equation}

\ begin {rovnice} \ částečné {F} / \ částečné {R} = \ frac {1 – \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} \ end {rovnice}

Nastavení vzájemných derivátů nyní omezuje vztah mezi $ \ alpha $ a poměrem $ P / R $ . Vzhledem k tomu, že si přejeme připočítat $ \ beta $ krát větší důležitost, abychom si jej mohli připomenout jako přesnost, zvážíme poměr $ R / P $ ¹ :

\ begin {rovnice} \ částečné {F} / \ částečné {P} = \ částečné {F} / \ částečné {R} \ rightarrow \ frac {\ alpha} {P ^ {2}} = \ frac {1- \ alpha} {R ^ {2}} \ rightarrow \ frac {R} {P } = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ end {rovnice}

Definování $ \ beta $ protože tento poměr a přeskupení pro $ \ alpha $ dává váhu ve smyslu $ \ beta ^ {2} $ :

\ begin {equation} \ beta = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ rightarrow \ beta ^ {2} = \ frac {1- \ alpha} {\ alpha} \ rightarrow \ beta ^ {2} + 1 = \ frac {1} {\ alpha} \ rightarrow \ alpha = \ frac {1} {\ beta ^ {2} + 1} \ end {equation}

\ begin {equation} 1 – \ alpha = 1 – \ frac {1 }{\beta ^ {2} + 1} \ rightarrow \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ end {rovnice}

Získáváme:

\ begin {equation} F = \ frac {1} {(\ frac {1} {\ beta ^ {2} + 1} \ frac {1} { P} + \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ frac {1} {R})} \ end {rovnice}

Který lze přeskupit tak, aby poskytl formulář ve vaší otázce.

Pokud tedy chcete uvést citovanou definici, chcete-li $ \ beta $ připojit jako je důležité si vzpomenout na přesnost, pak by měla být použita formulace $ \ beta ^ {2} $ . Tato interpretace neplatí, pokud použijeme $ \ beta $ .

Skóre můžete definovat podle svého uvážení. V tomto případě, jak ukázala Vic , definice relativní důležitosti, kterou byste předpokládali, je:

Definice: Relativní důležitost, kterou uživatel přikládá přesnosti a vyvolání, je $ \ partial {E} / \ partial {R} = \ partial {E} / \ částečný poměr {P} $ , při kterém $ R = P $ .

Poznámky pod čarou:

1. $ P / R $ se používá při načítání informací , ale zdá se, že jde o překlep, viz Pravda F-míry (Saski, 2007).

Reference:

1. C. J. Van Rijsbergen. 1979. Information Retrieval (2nd ed.), Pp.133-134
2. Y. Sasaki. 2007. „Pravda F-míry“, výuka, výukové materiály

Komentáře

• Toto by měl být přijatá odpověď.
• @Anakhand Čitatel je součtem vah, viz en.wikipedia.org/wiki/Harmonic_mean#Weighted_harmonic_mean

Rychle na něco poukázat.

Znamená to, že s rostoucí hodnotou beta si více vážíte přesnosti.

Ve skutečnosti si myslím, že je to naopak – protože vyšší je lepší v bodování F-β, chcete, aby jmenovatel byl malý. Proto pokud snížíte β, pak je model potrestán méně za dobré skóre přesnosti. Pokud zvýšíte β, pak je skóre F-β potrestáno více, když přesnost je vysoká.

Pokud chcete vážit bodování F-β tak, aby mělo přesnost, mělo by být β 0 < β < 1, kde β-> 0 hodnot pouze přesnost (čitatel se stává velmi malým a jedinou věcí ve jmenovateli je odvolání, takže skóre F-β se snižuje s rostoucím vybavením).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

TLDR; Na rozdíl od literatury, která se vrací k libovolně navržené definici pomocí $ \ beta $ termín, jak navrhuje OP, je ve skutečnosti intuitivnější než výraz $ \ beta ^ 2 $ .

Odpověď osoby dělá dobře, když ukazuje, proč $ \ beta ^ { 2} $ , vzhledem k tomu, jak Van Rijsbergen zvolil způsob, jak definovat relativní důležitost přesnosti a odvolání. V literatuře však chybí úvaha, kterou zde argumentuji: zvolená definice je neintuitivní a nepřirozená a pokud jste skutečně použili $ F_ \ beta $ (v praxi) tak, jak je to definováno, rychle byste nechali přemýšlet, “ účinek $ \ beta $ se zdá být mnohem agresivnější než hodnota, kterou jsem zvolil „.

Abych byl spravedlivý, zavádějící je většinou shrnutí Wikipedie, protože opomíná zmínit subjektivní míru důležitosti, zatímco Van Rijsbergen pouze představil možnou definici, která byla jednoduchá, ale ne nutně ta nejlepší nebo nejsmysluplnější.

Přezkoumejme Van Rijsbergenův výběr definice:

Nejjednodušší způsob, jak to vím, je určit $ P / R $ rozpětí> poměr, při kterém je uživatel ochoten obchodovat s přírůstkem přesnosti stejná ztráta při odvolání.

Obecně řečeno, pokud $ R / P > \ beta $ , pak je zvýšení $ P $ vlivnější než zvýšení $ R $ , zatímco $ R $ má větší vliv než $ P $ , kde $ R / P < \ beta $ . Ale tady je důvod, proč bych tvrdil, že váha je neintuitivní. Když $ P = R $ , zvýší se o $ R $ jsou $ \ beta ^ 2 $ krát stejně účinné jako $ P $ . (To může počítat z dílčích derivátů uvedených v odpovědi Osoby .) Když někdo řekne “ Chci si vzpomenout na být vážen 3x důležitější než přesnost „, nepřeskočil bych na definici, která odpovídá “ přesnost bude penalizována, dokud nebude doslova třetina hodnoty recall “ a určitě bych nečekal, že když jsou přesnost a recall stejné, recall přispívá 9x tolik. To se nejeví jako praktické ve většině situací, kdy v ideálním případě chcete, aby jak přesnost, tak i vybavenost byly vysoké, pouze jeden je o něco vyšší než druhý.

Níže je vizuální znázornění toho, co $ F_ \ beta $ vypadá. Červené čáry zvýrazňují poměr $ R / P = \ beta $ a že částečný deriváty $ F_ \ beta $ jsou v tomto poměru stejné, což ukazuje plné červené svahy.

Nyní představím alternativní subjektivní definici, která se při přesnosti rovná “ a odvolání jsou stejné, vylepšení vyvolání mají hodnotu $ \ gamma $ krát větší než vylepšení přesnosti „. Tvrdím, že tato definice je intuitivnější, přičemž je stejně jednoduchá jako definice Van Rijsbergena:

Když $ P = R $ , nastavte $ \ frac {\ částečné {F} / \ částečné {R}} {\ částečné {F} / \ částečné {P}} = \ gamma $ , kde $ \ gamma $ je relativní důležitost vylepšení při vyvolání přesnosti.

Nahrazení rovnic odvozených z odpovědi Osoby :

$ \ frac {1- \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} = \ gamma \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ {2}} $

Pamatuješ si to $ P = R $ , což zjednodušuje:

$ \ gamma = \ frac {1- \ alpha} {\ alpha} $ a $ \ alpha = \ frac {1} {\ gamma + 1} $ ,

v kontrastu s:

$ \ beta ^ 2 = \ frac {1- \ alpha} {\ alpha} $ a $ \ alpha = \ frac {1} {\ beta ^ 2 + 1} $ podle Van Rijsbergenovy formulace.

Co to znamená? Neformální shrnutí:

• Definice Van Rijsbergena $ \ Leftrightarrow $ je $ \ beta $ krát stejně důležité jako přesnost z hlediska hodnoty .
• Můj návrh definice $ \ Leftrightarrow $ vyvolání je $ \ gamma $ krát stejně důležité jako přesnost z hlediska zlepšení hodnoty .
• Obě definice jsou založeny na váženém harmonickém průměru přesnosti a odvolání a vážení v tyto dvě definice lze mapovat. Konkrétně umístění $ \ beta = \ sqrt {\ gamma} $ krát význam z hlediska hodnoty je ekvivalentní umístění $ \ gamma $ krát důležitost, pokud jde o zlepšení hodnoty.
• Lze obhájit argument, že použití $ \ beta $ termín namísto $ \ beta ^ 2 $ je intuitivnější váha.

Důvod, proč je β ^ 2 násoben s přesností, je právě způsob, jakým jsou definována F-skóre. To znamená, že s rostoucí hodnotou beta si více vážíte přesnosti. Pokud byste to chtěli znásobit odvoláním, které by také fungovalo, znamenalo by to jen to, že s rostoucí hodnotou beta si budete více pamatovat.

Hodnota beta větší než 1 znamená, že chceme, aby náš model věnoval větší pozornost modelu Recall ve srovnání s Precision. Na druhou stranu hodnota menší než 1 klade větší důraz na přesnost.