Miksi f beeta-pisteet määrittelevät tällaisen beetan?

Letting $ \ beta $ on paino ensimmäisessä määritelmässäsi ja $ \ tilde \ beta $ painon toisessa, nämä kaksi määritelmää vastaavat toisiaan, kun asetat $ \ tilde \ beta = \ beta ^ 2 $, joten nämä kaksi määritelmää edustavat vain notaatioerot $ F_ \ beta $ -pisteiden määritelmässä. Olen nähnyt sen määrittävän ensimmäisen tavan (esim. wikipedia-sivulla ) ja toisen (esim. täällä ).

$ F_1 $ -mitta saadaan ottamalla tarkkuuden ja palautuksen harmoninen keskiarvo, nimittäin tarkkuuden vastavuoroisuuden keskiarvon ja palautuksen vastavuoroisuuden keskiarvo:

\ begin {tasaus *} F_1 & = \ frac {1} {\ frac {1} {2} \ frac {1} {\ text {precision}} + \ frac {1} {2} \ frac {1} {\ text {muistaa}}} \\ & = 2 \ frac {\ text {precision} \ cdot \ text {muistaa}} {\ teksti {tarkkuus} + \ teksti {palautus}} \ loppu {tasaa *}

Sen sijaan, että käyttäisit nimittäjässä yhtä suuria ja summan 1 painoja ($ \ frac {1 } {2} $ palautuksesta ja $ \ frac {1} {2} $ tarkkuudesta), voimme sen sijaan määrittää painot, jotka ovat edelleen yhtä kuin 1, mutta joiden palautuspaino on $ \ beta $ kertaa suurempi kuin paino tarkkuudesta ($ \ frac {\ beta} {\ beta + 1} $ palautusta varten ja $ \ frac {1} {\ beta + 1} $ tarkkuutta varten). Tämä antaa toisen määritelmän $ F_ \ beta $ -pisteestä:

\ begin {align *} F_ \ beta & = \ frac {1} {\ frac {1} {\ beta + 1} \ frac {1} {\ text {precision}} + \ frac {\ beta} {\ beta + 1} \ frac {1} {\ text {muokkaus}}} & = (1+ \ beta) \ frac {\ text {precision} \ cdot \ text {muokkaus}} {\ beta \ cdot \ text {tarkkuus} + \ text {palautus }} \ end {align *}

Jos olisimme käyttäneet $ \ beta ^ 2 $: ta $ \ beta $: n sijasta, olisimme päässeet ensimmäiseen määritelmääsi, joten näiden kahden määritelmän väliset erot ovat vain notaatioita.

Kommentit

• miksi he kertoivat $ \ beta $ tarkkuustermillä palautustermin sijaan?
• Differentiaalilaskelma, joka käsittelee ” miksi Beeta neliö eikä Beeta ” sisältyy uudempaan vastaukseen alla.
• @Anwarvic He kertoivat $ \ beta $ palautuksella käänteinen . Kun olet laskenut $ (1+ \ beta) $: n ja laajentanut sitä $ \ text {precision} \ cdot \ text {muista} $, $ $ beta \ cdot \ text {precision} $ -merkki on jäljellä

Syy F-beeta-pistemäärän määrittämiseen $ \ beta ^ { 2} $ on täsmälleen tarjoamasi lainaus (eli haluat liittää $ \ beta $ kertaa niin tärkeän muistettavaksi kuin tarkkuus), kun annat tietyn määritelmän mitä tarkoittaa liittää $ \ beta $ kertaa niin paljon tärkeätä muistaa kuin tarkkuus.

Erityinen tapa määritellä näiden kahden suhteellinen merkitys mittarit, jotka johtavat $ \ beta ^ {2} $ -formulaatioon, löytyvät kohdasta Tiedonhaku (Van Rijsbergen, 1979):

Määritelmä: Suhteellinen merkitys, jonka käyttäjä pitää tarkkuudella ja palautuksella, on $ P / R $ suhde whi ch $ \ osittainen {E} / \ osallinen {R} = \ osittainen {E} / \ osittainen {P} $ , missä $ E = E (P, R) $ on tarkkuuteen ja palautukseen perustuva tehokkuuden mitta.

Tämän motivaatio oleminen:

Yksinkertaisin tapa, jolla tiedän tämän kvantifioinnista, on määrittää $ P / R $ suhde, jolla käyttäjä on valmis vaihtamaan tarkkuuden lisäyksen yhtä suureksi menetyshäviöksi.

Jos haluat nähdä, että tämä johtaa $ \ beta ^ {2} $ -formulaatioon, voi aloittaa $ P $ ja $ R $ painotetun harmonisen keskiarvon yleiskaavalla ja laskea niiden osittaiset johdannaiset suhteessa $ P $ ja $ R $ . Mainittu lähde käyttää $ E $ (” -mittarille ”) , joka on vain $ 1-F $ ja selitys on yhtäpitävä riippumatta siitä, pidetäänkö $ E $ vai $ F $ .

\ begin {equation} F = \ frac {1} {(\ frac { \ alpha} {P} + \ frac {1- \ alpha} {R})} \ end {yhtälö}

\ begin {yhtälö } \ osittainen {F} / \ osittainen {P} = \ frac {\ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ { 2}} \ end {yhtälö}

\ begin {yhtälö} \ osittainen {F} / \ osittainen {R} = \ frac {1 – \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} \ end {yhtälö}

Johdannaisten asettaminen yhtä suuriksi asettaa rajoituksen $ \ alpha $ ja $ P / R $ . Ottaen huomioon, että haluamme liittää $ \ beta $ kertaa niin tärkeän muistettavuuden kuin tarkkuus, harkitsemme suhdetta $ R / P $ ¹ :

\ begin {yhtälö} \ osittainen {F} / \ osittainen {P} = \ osittainen {F} / \ osittainen {R} \ oikeanpuoleinen \ frac {\ alpha} {P ^ {2}} = \ frac {1- \ alpha} {R ^ {2}} \ oikeanpuoleinen \ frac {R} {P } = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ end {yhtälö}

Määritetään $ \ beta $ koska tämä suhde ja uudelleenjärjestäminen $ \ alpha $ antaa painotukset $ \ beta ^ {2} $ :

\ begin {equation} \ beta = \ sqrt {\ frac {1- \ alpha} {\ alpha}} \ rightarrow \ beta ^ {2} = \ frac {1- \ alpha} {\ alpha} \ rightarrow \ beta ^ {2} + 1 = \ frac {1} {\ alpha} \ rightarrow \ alpha = \ frac {1} {\ beta ^ {2} + 1} \ end {yhtälö}

\ begin {yhtälö} 1 – \ alpha = 1 – \ frac {1 }{\beeta ^ {2} + 1} \ rightarrow \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ end {yhtälö}

Saamme:

\ begin {yhtälö} F = \ frac {1} {(\ frac {1} {\ beta ^ {2} + 1} \ frac {1} { P} + \ frac {\ beta ^ {2}} {\ beta ^ {2} + 1} \ frac {1} {R})} \ end {yhtälö}

Mikä voidaan järjestää uudelleen antamaan kysymyksessä oleva lomake.

Jos siis haluat lainata määritelmän, jos haluat liittää $ \ beta $ kertaa Paljon tärkeää on palauttaa mieleen tarkkuus, joten $ \ beta ^ {2} $ -formulaatiota tulisi käyttää. Tämä tulkinta ei päde, jos käytetään $ \ beta $ .

Voit määrittää pisteet ehdotuksen mukaan. Tässä tapauksessa, kuten Vic on osoittanut, oletettavan suhteellisen tärkeyden määritelmä on seuraava:

Määritelmä: Suhteellinen merkitys, jonka käyttäjä antaa tarkkuudelle ja palautukselle, on $ \ osittainen {E} / \ osittainen {R} = \ osittainen {E} / \ osittainen {P} $ -suhde, jolla $ R = P $ .

Alaviitteet:

1. $ P / R $ : ta käytetään tiedonhakuun , mutta tämä näyttää olevan kirjoitusvirhe, katso F-mittarin totuus (Saski, 2007).

Viitteet:

1. C. J. Van Rijsbergen. 1979. Tietojen haku (2. painos), sivut 133-134
2. Y. Sasaki. 2007. ”F-mittauksen totuus”, opetus, opetusmateriaalit

kommentit

• Tämän pitäisi olla hyväksytty vastaus.
• @Anakhand Osoitin on painojen summa, katso fi.wikipedia.org/wiki/Harmonic_mean#Weighted_harmonic_mean

Jos haluat osoittaa jotain nopeasti.

Se tarkoittaa, että beeta-arvon kasvaessa arvostat tarkkuutta enemmän.

Mielestäni se on päinvastoin – koska korkeampi on parempi F-β-pisteytyksessä, haluat nimittäjän olevan pieni. Jos siis pienennät β-arvoa, mallia rangaistaan vähemmän siitä, että hänellä on hyvä tarkkuuspisteet. Jos korotat β-arvoa, F-β-pistemäärää rangaistaan enemmän, kun tarkkuus on korkea.

Jos haluat painottaa F-β-pisteytystä siten, että se arvostaa tarkkuutta, β: n tulee olla 0 < β < 1, jossa β-> 0 on vain tarkkuus (osoittaja muuttuu hyvin pieneksi, ja nimittäjässä ainoa asia on palautus, joten F-β-pisteet pienenevät, kun palautus kasvaa).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

TLDR; Päinvastoin kuin kirjallisuus viittaa mielivaltaiseen ehdotettuun määritelmään käyttämällä $ \ beta $ , kuten OP ehdottaa, on itse asiassa intuitiivisempi termi $ \ beta ^ 2 $ .

Henkilön vastaus osoittaa hyvin, miksi $ \ beta ^ { 2} $ ilmestyy, kun otetaan huomioon Van Rijsbergenin valitsema tapa määritellä tarkkuuden ja palautuksen suhteellinen merkitys. Kirjallisuudesta puuttuu kuitenkin seikka, josta väitän tässä: valittu määritelmä on epäjohdonmukainen ja luonnoton, ja jos tosiasiassa käytit $ F_ \ beta $ (käytännössä) tapaa, jolla se on määritelty, jäisit nopeasti ajattelemaan, ” $ \ beta $ näyttää olevan paljon aggressiivisempi kuin arvo, jonka olen valinnut ”.

Ollakseni oikeudenmukainen, harhaanjohtava on lähinnä Wikipedian yhteenveto, koska siinä jätetään mainitsematta subjektiivinen tärkeyden mittari, kun taas Van Rijsbergen vain esitti mahdollisen määritelmän, joka oli yksinkertainen, mutta ei välttämättä paras tai mielekäs.

Tarkastellaan Van Rijsbergenin valitsemaa määritelmä:

Yksinkertaisin tapa kvantifioida tämä on määrittää $ P / R $ suhde, jolla käyttäjä on valmis vaihtamaan tarkkuuden lisäyksen yhtä suuri menetys palautuksessa.

Yleisesti ottaen, jos $ R / P > \ beta $ , sitten $ P $ : n kasvu on vaikuttavampi kuin $ R $ , kun taas $ R $ on vaikutusvaltaisempi kuin $ P $ , jossa $ R / P < \ beta $ . Mutta tästä syystä väittäisin, että painotus ei ole järkevää. Kun $ P = R $ , kasvaa $ R $ ovat $ \ beta ^ 2 $ kertaa yhtä tehokkaita kuin $ P $ . (Tämä voi lasketaan osittaisista johdannaisista, jotka on annettu Henkilön vastauksessa.) Kun joku sanoo ” Haluan palauttaa painotettu 3x tärkeämpää kuin tarkkuus ”, en siirry määritelmään, joka vastaa ” tarkkuutta rangaistaan, kunnes se s kirjaimellisesti kolmasosa palautuksen arvosta ”, enkä varmastikaan odota, että kun tarkkuus ja palautus ovat samat, palautus tuottaa 9x yhtä paljon. Se ei näytä käytännölliseltä useimmissa tilanteissa, joissa haluat ihanteellisesti sekä tarkkuuden että muistutuksen olevan korkeat, vain yksi on hieman korkeampi kuin toinen.

Alla on visuaalinen esitys siitä, mitä $ F_ \ beta $ näyttää tältä. Punaiset viivat korostavat suhdetta $ R / P = \ beta $ ja että osittainen $ F_ \ beta $ -johdannaiset ovat samanarvoisia tässä suhteessa, joka näkyy kiinteillä punaisilla kaltevuuksilla.

Esitän nyt vaihtoehtoisen subjektiivisen määritelmän, joka vastaa tarkkuutta ” tarkkuudella ja palautus ovat yhtä suuria, palauttamisen parannukset ovat $ \ gamma $ kertaa enemmän kuin tarkkuuden parannukset ”. Väitän, että tämä määritelmä on intuitiivisempi ja samalla yhtä yksinkertainen kuin Van Rijsbergenin määritelmä:

Kun $ P = R $ , aseta $ \ frac {\ osal {F} / \ osal {R}} {\ osittainen {F} / \ osallinen {P}} = \ gamma $ , missä = ”math-container”> $ \ gamma $ on suhteellisen tärkeä parannusten tarkkuudessa.

Korvaa yhtälöt, jotka on johdettu Henkilön vastaukseen:

$ \ frac {1- \ alpha} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} R ^ {2}} = \ gamma \ frac {\ alfa} {(\ frac {\ alpha} {P} + \ frac {1- \ alpha} {R}) ^ {2} P ^ {2}} $

Muista, että $ P = R $ , tämä yksinkertaistuu seuraavasti:

$ \ gamma = \ frac {1- \ alpha} {\ alpha} $ ja $ \ alpha = \ frac {1} {\ gamma + 1} $ ,

vastakohtana:

$ \ beta ^ 2 = \ frac {1- \ alpha} {\ alpha} $ ja $ \ alpha = \ frac {1} {\ beta ^ 2 + 1} $ Van Rijsbergenin sanamuodossa.

Mitä tämä tarkoittaa? Epävirallinen yhteenveto:

• Van Rijsbergenin määritelmä $ \ Leftrightarrow $ on $ \ beta $ kertaa niin tärkeä kuin tarkkuus arvon suhteen .
• Ehdotettu määritelmä $ \ Leftrightarrow $ on $ \ gamma $ kertaa niin tärkeä kuin tarkkuus arvon parantamisen kannalta .
• Molemmat määritelmät perustuvat tarkkuuden ja palautuksen painotettuun harmoniseen keskiarvoon ja alla oleviin painotuksiin. nämä kaksi määritelmää voidaan yhdistää. Tarkemmin sanottuna $ \ beta = \ sqrt {\ gamma} $ -kertaisen tärkeyden asettaminen arvon suhteen vastaa $ \ gamma $ kertaa tärkeämpi arvon parantamisen kannalta.
• Voidaan puolustaa puolustavasti $ \ beta $ termi $ \ beta ^ 2 $ sijaan on intuitiivisempi painotus.

Syy siihen, että β ^ 2 kerrotaan tarkkuudella, on vain tapa, jolla F-pisteet määritetään. Se tarkoittaa, että beeta-arvon kasvaessa arvostat tarkkuutta enemmän. Jos haluat kertoa sen palautuksella, joka myös toimii, se tarkoittaisi vain sitä, että beeta-arvon kasvaessa arvostat enemmän palautusta.