Milloin tarkkuus on tärkeämpää kuin palautus?

• harvinaista syöpää koskevat tiedot mallinnus, kaikki mikä ei ”ota huomioon vääriä negatiiveja, on rikos. Palautus on parempi mitta kuin tarkkuus.
• YouTuben suositusten kannalta vääriä negatiiveja on vähemmän huolta. Tarkkuus on parempi tässä.

Kommentit

• @fate h Suurin ero on FP vs. FN. YouTuben suositus

Voin kertoa sinulle todellisen tapaukseni, kun palautus on tärkeämpää:

Meillä on tuhansia ilmaisia asiakkaita, jotka rekisteröityvät verkkosivustollemme joka viikko. Puhelukeskustiimi haluaa soittaa heille kaikille, mutta se on mahdotonta, joten he pyytävät minua valitsemaan ne, joilla on hyvät mahdollisuudet olla ostaja (korkean lämpötilan tapaan me viittaamme heihin). Emme välitä soittamasta kaverille, joka ei aio ostaa (joten tarkkuus ei ole tärkeää), mutta meille on erittäin tärkeää, että kaikki heistä, joilla on korkea lämpötila, ovat aina valinnassani, joten he eivät mene ostamatta. Tämä tarkoittaa, että mallissani on oltava suuri palautus , riippumatta siitä, meneekö tarkkuus helvettiin.

Toivottavasti se auttaa! Miguel.

Vaikka joissakin tilanteissa muistaminen voi olla tärkeämpää kuin tarkkuus (tai päinvastoin), tarvitset molemmat saadaksesi paremmin tulkittavan arvion.

Esimerkiksi, kuten @SmallChess totesi, lääketieteellisessä yhteisössä , väärä negatiivinen on yleensä katastrofaalisempi kuin väärä positiivinen alustavien diagnoosien yhteydessä. Siksi voidaan ajatella, että palauttaminen on tärkeämpi mitta. Voit kuitenkin saada 100-prosenttisen palautuksen, mutta sinulla on hyödytön malli: jos mallisi tuottaa aina positiivisen ennusteen, se olisi 100-prosenttisesti palautettavissa, mutta täysin epätietoinen.

Siksi tarkastelemme useita mittareita:

• tarkkuuskutsu
• AUROC
• ja joskus mittarit, kuten F-pisteet

Mikä on tärkeämpää, riippuu yksinkertaisesti kunkin virheen kustannuksista.

Tarkkuus aiheuttaa yleensä suoria kustannuksia; mitä enemmän sinulla on vääriä positiivisia, sitä enemmän sinulla on todellisia positiivisia kustannuksia. Jos kustannuksesi ovat alhaiset, tarkkuudella ei ole väliä niin paljon. Esimerkiksi, jos sinulla on 1 miljoona sähköpostiosoitetta ja sähköpostin lähettäminen kaikille heille maksaa 10 dollaria, ei todennäköisesti ole sinun aikasi yrittää tunnistaa ihmiset, jotka todennäköisimmin vastaavat, pikemminkin vain roskapostimalla heidät kaikki.

Muistutettakoon, että toisaalta sillä on taipumus aiheuttaa vaihtoehtoisia kustannuksia; luovutat mahdollisuuksista aina, kun sinulla on väärä negatiivinen. Joten palautus on vähiten tärkeää, kun oikean lisätunnistuksen raja-arvo on pieni, esim. Mahdollisuuksia on useita, niiden välillä ei ole juurikaan eroja, ja vain rajoitettua määrää voidaan harjoittaa. Oletetaan esimerkiksi, että haluat ostaa omenan. Kaupassa on 100 omenaa, joista 10 on huonoja. Jos sinulla on menetelmä huonojen omenoiden erottamiseksi, josta puuttuu 80% hyvistä, tunnistat noin 18 hyvää omenaa. Normaalisti 20 prosentin palautus olisi kauheaa, mutta jos haluat vain 5 omenaa, näiden muiden 72 omenan puuttumisella ei ole väliä.

Joten palautus on tärkeintä, kun:

-Mahdollisuuksien määrä on pieni (jos hyviä omenoita oli vain 10, tuskin löydät 5 hyvää omenaa, joiden palautusaste on vain 20%)
-Mahdollisuuksien välillä on merkittäviä eroja (jos joitain omenat ovat parempia kuin toiset, niin 20 prosentin palautusaste riittää 5 hyvän omenan saamiseksi, mutta ne eivät välttämättä tule olemaan parhaat omenat)
TAI
-The mahdollisuuksien marginaalinen hyöty on edelleen korkea, jopa monien mahdollisuuksien kohdalla. Esimerkiksi, kun useimmilla ostajilla ei ole paljon hyötyä yli 18 hyvästä omenasta, myymälä haluaisi, että sillä olisi myytävänä yli 18 omenaa.

Täten tarkkuus olla tärkeämpi kuin muistaminen, kun näyttelemisen kustannukset ovat korkeat, mutta näyttelemättä jättämisen kustannukset ovat alhaiset.Huomaa, että nämä ovat kustannukset, jotka aiheutuvat toimimisesta / toimimattomuudesta ehdokasta kohden, eivät ”kustannuksista, jotka koskevat minkäänlaista toimintaa”, verrattuna ”kustannuksiin siitä, että ei ole mitään toimia”. Apple-esimerkissä se on tietyn omenan ostamisen / ostamatta jättämisen kustannus, ei joidenkin omenoiden ostamisen kustannus verrattuna omenoiden ostamatta jättämiseen; tietyn omenan ostamatta jättämisen kustannukset ovat alhaiset, koska siellä on paljon omenoita muut omenat. Koska huonon omenan ostokustannukset ovat korkeat, mutta tietyn hyvän omenan ohittamisesta aiheutuvat kustannukset ovat alhaiset, tarkkuus on tärkeämpi tässä esimerkissä. Toisia esimerkkejä olisi palkata, kun ”vastaavia ehdokkaita on paljon.

Takaisinkutsu on tärkeämpää kuin tarkkuus, kun näyttelemisen kustannukset ovat alhaiset, mutta ehdokkaan ylittämisen vaihtoehtoiset kustannukset ovat korkeat. Siellä on aiemmin esittämäni roskapostiesimerkki (sähköpostiosoitteen puuttumisen kustannukset eivät ole korkeat, mutta sähköpostin lähettämisen henkilölle, joka ei vastaa, kustannukset ovat vielä pienemmät), ja toinen esimerkki olisi tunnistaminen ehdokkaat influenssarokotukseen: anna influenssarokotus jollekin, joka ei tarvitse sitä, ja se maksaa muutaman dollarin, älä anna sitä jollekin, joka tarvitsee sitä, ja he voivat kuolla. Tämän vuoksi terveydenhuollon suunnitelmat tarjoaa yleensä influenssarokotuksen kaikille, tarkkuudesta huolimatta.

Kerääntyminen tarjoaa erinomaisen vastauksen siihen, miten voit saada lisää esimerkkejä, joissa selitetään tarkkuuden merkitys palautuksen suhteen ja päinvastoin.

Suurin osa muista vastauksista on pakottava tapaus tärkeydelle muistamista, joten ajattelin antaa esimerkin tarkkuuden tärkeydestä. Tämä on täysin hypoteettinen esimerkki, mutta tekee siitä asian.

Sanotaan, että koneoppimismalli on luotu ennustamaan, onko tietty päivä hyvä päivä satelliittien laukaisemiseen vai ei sään perusteella.

• Jos malli ennustaa vahingossa, että hyvä päivä satelliittien laukaisemiseen on huono ( väärä negatiivinen ), menetämme mahdollisuuden käynnistää. Tämä ei ole niin iso juttu.

• Jos malli kuitenkin ennustaa olevan hyvä päivä, mutta se on itse asiassa huono päivä satelliittien laukaisemiseksi ( väärä positiivinen ), satelliitit voivat tuhoutua ja vahingonkorvauskustannukset ovat miljardeja.

Tämä on tapaus, jossa tarkkuus on tärkeämpää kuin muistaminen.

Minulla oli vaikea muistaa tarkkuuden ja palautuksen välinen ero, kunnes keksin itselleni tämän muistin:

Esiopetus on edeltävyyskokeisiin, kun reCALL on CALL-keskukseen.

Raskaustestissä testin valmistajan on varmistettava, että positiivinen tulos tarkoittaa, että nainen on todella raskaana. Ihmiset saattavat reagoida positiiviseen testiin menemällä yhtäkkiä naimisiin tai ostamalla talon (jos monet kuluttajat saisivat vääriä positiivisia tuloksia ja kärsivät valtavia kustannuksia ilman syytä, testin valmistajalta puuttuisi asiakkaita). Sain kerran väärän negatiivisen raskaustestin, ja se tarkoitti vain muutaman viikon kulumista, ennen kuin sain tietää olevani raskaana … totuus tuli lopulta ILMAN. (Pun on tarkoitettu.)

Kuvaa nyt puhelukeskus vakuutuskorvauksia varten. Suurin osa petollisista vaateista soitetaan maanantaisin, kun petokset ovat yhteydessä yhteistyökumppaneihin ja laativat heidän keksimänsä tarinoita (”sanotaan, että auto on varastettu”) viikonloppuna. Mikä on paras asia vakuutusyhtiölle maanantaisin? Ehkä heidän pitäisi virittää suosimaan muistamista tarkkuuden sijaan. On paljon parempi merkitä useammat vaateet positiivisiksi (todennäköisesti petoksiksi) lisätutkimuksia varten kuin jättää osa petoksista väliin ja maksaa käteistä, jota ei olisi koskaan pitänyt maksaa. Väärän positiivinen (merkitty lisätarkastukseksi mahdollisesti petokseksi, mutta asiakkaan menetys oli todellinen) voidaan todennäköisesti selvittää nimeämällä kokenut säädin, joka voi vaatia poliisiraporttia, pyytää turvallisuusvideota jne. Väärä negatiivinen (hyväksyvä petoksen väärä vaatimus ja käteisenä maksaminen) on vakuutusyhtiölle pelkkää tappiota ja rohkaisee lisää petoksia.

F1 on hieno, mutta ymmärtäminen testin / ennusteen käytöstä on todella tärkeää, koska aina on olemassa riski olla väärässä … haluat tietää kuinka vakavat seuraukset ovat, jos väärät.

Sähköpostin roskapostin tunnistus : Tämä on yksi esimerkki, jossa Tarkkuus on tärkeämpää kuin Recall .

Pikakartoitus :

• Tarkkuus : Tämä kertoo, kun ennustat jotain positiivista, kuinka monta kertaa ne olivat todella positiivisia.taas

• Recall : Tämä kertoo todellisista positiivisista tiedoista, kuinka monta kertaa olet ennakoinut oikein.

Edellä sanottuasi roskapostisähköpostin havaitsemisen tapauksessa pitäisi olla kunnossa, jos roskaposti (positiivinen tapaus) jätetään huomaamatta ja ei ” t siirry roskapostikansioon mutta , jos sähköposti on hyvä (negatiivinen), sen on oltava ei siirry roskapostikansioon. ts. Precison on tärkeämpi. (Jos malli ennustaa jotain positiivista (eli roskapostia), se on parempi olla roskapostia. else, saatat unohtaa tärkeitä sähköposteja).

Toivottavasti se selviää.

Milloin meillä on epätasapainoinen luokka ja tarvitsemme paljon todellisia positiivisia, tarkkuus on parempana kuin muistutus, koska tarkkuudella ei ole väärää negatiivista kaavassa, joka voi vaikuttaa.