Tudna valaki mondani néhány példát, ahol fontos a pontosság, és néhányat, ahol fontos a visszahívás?
Megjegyzések
- Az f1-pontszám a helyes út, barátom
- Több, mint ami ‘ fontosabb a kettő között kérdezd meg, melyek azok az esetek, amikor maximalizálni akarod a másikat (ami nem ‘ nem teszi szükségszerűen a másikat ” kevesebbé ” fontos).
Válasz
- Ritka rákos adatok esetén modellezés, bármi, ami nem veszi figyelembe a hamis negatívumokat, bűncselekmény. li>
- A YouTube ajánlásai esetében a hamis negatívok kevésbé aggasztók. A pontosság itt jobb.
Megjegyzések
- @fate h A fő különbség az FP és az FN. A YouTube ajánlása
nem helyezi a hangsúlyt az FN-re, de a kórházi klinikai döntéseknek igen.
Válasz
Meg tudom adni a valós esetemet, amikor a visszahívás fontosabb:
Minden héten több ezer ingyenes ügyfél regisztrál weboldalunkon. A call center csapata mindet fel akarja hívni, de ez lehetetlen, ezért arra kérnek, hogy válasszam ki azokat, akik jó eséllyel lehetnek vevők (magas hőmérsékletűek vagyunk, ahogyan erre hivatkozunk). Nem érdekel egy olyan srác, aki nem fog vásárolni (ezért nem fontos a precizitás), de számunkra nagyon fontos, hogy mindegyikük magas hőmérsékletű legyen mindig az én választásom, ezért nem mennek vásárlás nélkül. Ez azt jelenti, hogy a modellemnek nagy visszahívással kell rendelkeznie , függetlenül attól, hogy a pontosság a pokolba kerül.
emélem, hogy segít! Miguel.
Válasz
Bár bizonyos helyzetekben a visszahívás fontosabb lehet, mint a precizitás (vagy fordítva), mindkettőre szükséged van egy értelmezhetőbb értékeléshez.
Például, amint azt @SmallChess megjegyezte, az orvosi közösségben , a hamis negatív általában katasztrofálisabb, mint az előzetes diagnózisok hamis pozitívja. Ezért fontosabb mérésnek tekinthetjük a visszahívást. Lehetséges azonban, hogy 100% -ban visszahívja, mégis van haszontalan modellje: ha a modellje mindig pozitív előrejelzést ad, akkor 100% -ban visszahívható lenne, de teljesen informatív lenne.
Ezért több metrikát vizsgálunk meg:
- precíziós-visszahívási görbe
- AUROC
- és néha olyan mutatók, mint az F pontszám
Válasz
Ami még fontosabb, az egyszerűen csak az egyes hibák költségein múlik.
A precizitás általában közvetlen költségekkel jár; minél több hamis pozitív van, annál több költsége van egy igaz pozitívra. Ha alacsonyak a költségei, akkor a pontosság nem számít annyira. Például, ha 1 millió e-mail címe van, és 10 dollárba kerül, ha e-mailt küldök mindegyikükre, valószínűleg nem éri meg az idejét, hogy megpróbálja azonosítsa azokat az embereket, akik a legvalószínűbben reagálnak, inkább csak spamelve mindet.
Emlékezzünk, másrészt inkább alternatív költségekkel jár; minden alkalommal feladja a lehetőségeket, amikor hamis negatívja van. Tehát a visszahívás akkor a legkevésbé fontos, ha a további helyes azonosítás határértéke kicsi, pl. többféle lehetőség van, alig van különbség közöttük, és csak korlátozott számban lehet őket folytatni. Tegyük fel például, hogy almát szeretne vásárolni. A boltban 100 alma van, és 10 közülük rossz. Ha van olyan módszere a rossz almák megkülönböztetésére, amelyből hiányzik a jó 80% -a, akkor körülbelül 18 jó almát fog azonosítani. Normális esetben a 20% -os visszahívás szörnyű lenne, de ha csak 5 almára vágyik, akkor a többi 72 alma hiánya nem számít.
Tehát a visszahívás a legfontosabb, amikor:
-A lehetőségek száma kicsi (ha csak 10 jó alma lenne, akkor nem valószínű, hogy 5 jót találna, csak 20% -os visszahívási arány mellett)
-A lehetőségek között jelentős különbségek vannak (ha vannak ilyenek) az alma jobb, mint mások, akkor 20% visszahívási arány elegendő 5 jó alma megszerzéséhez, de nem feltétlenül lesznek a legjobb almák)
VAGY
-A a lehetőségek marginális haszna továbbra is magas, még számos lehetőség esetében is. Például, bár a legtöbb vásárlónak nem sok haszna van a több mint 18 jó almából, a bolt több mint 18 almát szeretne eladni.
Így a pontosság legyen fontosabb, mint a visszahívás, amikor a színészkedés költsége magas, de a nem színészkedés költsége alacsony.Ne feledje, hogy ez a fellépés / nem cselekvés költsége jelöltenként, nem pedig “egyáltalán semmilyen cselekvés költsége”, szemben azzal, hogy egyáltalán nincs cselekvés. Az almapéldában nem egy adott alma vásárlásának / nem vásárlásának költsége, nem pedig egyes almák vásárlásának költsége, szemben az almák megvásárlásának költségeivel; egy adott alma megvásárlásának költsége alacsony, mert sok van más alma. Mivel a rossz alma vásárlásának költsége magas, de egy adott jó alma áthelyezésének költsége alacsony, a pontosság fontosabb ebben a példában. Másik példa a felvétel, ha sok hasonló jelölt van.
A visszahívás fontosabb, mint a precizitás, ha a fellépés költsége alacsony, de a jelentkező továbbadásának alternatív költsége magas. Van egy spam példa, amelyet korábban adtam (az e-mail cím kimaradásának költsége nem magas, de az e-mail küldésének költsége annak, aki nem válaszol, még alacsonyabb), és egy másik példa az azonosítás lenne jelöltek az influenza elleni oltásra: adják be az influenza elleni oltást valakinek, akinek nincs szüksége rá, és ez néhány dollárba kerül, ne adja oda valakinek, akinek szüksége van rá, és meghalhat. Emiatt egészségügyi tervek általában mindenki számára felajánlja az influenza elleni oltást, teljesen figyelmen kívül hagyva a pontosságot.
Válasz
Felhalmozás nagyszerű választ ad arra, hogyan állíthat elő több példát, amelyek elmagyarázzák a visszahívás pontosságának fontosságát, és fordítva.
A többi válasz nagy része meggyőző esetet jelent a fontosság szempontjából. visszahívásról, ezért gondoltam, hogy példát mondok a pontosság fontosságára. Ez egy teljesen hipotetikus példa, de igaz.
Tegyük fel, hogy egy gépi tanulási modell jön létre annak előrejelzésére, hogy egy adott nap megfelelő idő-e műholdak indításához, vagy sem az időjárás alapján.
-
Ha a modell véletlenül azt jósolja, hogy egy jó nap a műholdak indításához rossz ( hamis negatív ), hiányzik az esély az indulásra. Ez nem olyan nagy baj.
-
Ha azonban a modell azt jósolja, hogy jó nap van, de valójában rossz nap a műholdak indítására ( hamis pozitív ), akkor a műholdak megsemmisülhetnek, és a károk költsége milliárdos lesz.
Ez az olyan eset, amikor a pontosság fontosabb, mint a felidézés.
Válasz
Nehezen tudtam emlékezni a különbségre a pontosság és a visszahívás között, amíg nem találtam ki magamnak ezt a memo-nikát: bfb96bbe56 “>
Terhességi teszt esetén a teszt gyártójának biztosnak kell lennie abban, hogy a pozitív eredmény azt jelenti, hogy a nő valóban terhes. Az emberek a pozitív tesztre úgy reagálhatnak, hogy hirtelen összeházasodnak vagy házat vásárolnak (ha sok fogyasztó hamis pozitív eredményt kapna és ok nélkül hatalmas költségeket szenvedne el, a teszt gyártójának hiányozna az ügyfelei). Egyszer hamis negatív terhességi tesztet kaptam, és ez csak azt jelentette, hogy még néhány hétbe tellett, mire megtudtam, hogy terhes vagyok … az igazság végül nyilvánvalóvá vált. (Pun célja.)
Most képzeljen el egy telefonos központot a biztosítási kárigényekről. A legtöbb csalárd keresetet hétfőn telefonálják, miután a csalók kapcsolatba lépnek az együttműködőkkel, és a hétvégén elkészítik a kitalált történeteiket (mondjuk azt, hogy az autót ellopták). Mi a legjobb a biztosítótársaságnak hétfőnként? Talán arra kellene ráhangolódniuk, hogy a pontosság helyett a felidézést részesítsék előnyben. Sokkal jobb, ha több követelést jelölünk pozitívként (valószínűleg csalásként) a további vizsgálat érdekében, mint hogy elmulasztjuk a csalások egy részét, és olyan készpénzt fizessünk ki, amelyet soha nem kellett volna kifizetni. A hamis pozitív (amelyet további ellenőrzés céljából csalásként jelöltek meg, de az ügyfél vesztesége valós volt) valószínűleg kiküszöbölhető egy tapasztalt beállító kijelölésével, aki ragaszkodhat a rendőri jelentéshez, épületbiztonsági videót kérhet stb. a csaló hamis követelése és készpénzben történő kifizetése) tiszta veszteség a biztosítótársaság számára, és további csalásokra ösztönöz.
Az F1 nagyszerű, de a teszt / előrejelzés használatának megértése nagyon fontos, mert Mindig fennáll annak a veszélye, hogy tévedsz … tudni akarod, mennyire súlyos következményei lesznek, ha tévednek.
Válasz
E-mail spam-észlelés : Ez az egyik példa, ahol Precíziós A fontosabb, mint a Visszahívás .
Gyors áttekintés :
-
Pontosság : Ez megmondja, hogy mikor jósol valami pozitívat, hányszor voltak pozitívak.mivel
-
Recall : Ez a tényleges pozitív adatokból árulkodik, hányszor jósolta meg helyesen.
A fentiek alapján spam e-mail észlelés esetén rendben kell lennünk, ha a spam e-mail (pozitív eset) észrevétlen marad és nem ” t menjen a spam mappába de , ha egy e-mail jó (negatív), akkor meg kell ne menjen a spam mappába. azaz A precison fontosabb. (Ha a modell valami pozitívat (pl. spamet) jósol, akkor jobb, ha spam. else, hiányozhatnak a fontos e-mailek).
Remélem, hogy ez egyértelművé válik.
Válasz
Mikor osztályunk kiegyensúlyozatlan, és nagy igaz pozitívumokra van szükségünk, a pontosságot előnyben részesítjük a visszahívással szemben. mert a pontosság képletében nincs hamis negatív, ami hatással lehet.
Válasz
Itt van egy egyszerű példa, amit vettem Aurelion Geron könyvéből, a gyakorlati gépi tanulás a Scikit-Learn és a Tensorflow segítségével. Képzelje el, hogy szeretnénk megbizonyosodni arról, hogy gyermekünknek szóló webhelyblokkolónk csak a “biztonságos” webhelyek megjelenítését teszi lehetővé.
Ebben az esetben a “biztonságos” webhely a pozitív osztály. Itt azt akarjuk, hogy a blokkoló teljesen biztos legyen abban, hogy a webhely biztonságos, még akkor is, ha egyes biztonságos webhelyeket az előrejelzések szerint a negatív vagy nem biztonságos osztályba tartoznak, és következésképpen blokkolják őket. Vagyis nagy pontosságot akarunk a visszahívás rovására.
A repülőtéri biztonság esetében, ahol a biztonsági kockázat a pozitív osztály, szeretnénk biztosítani minden lehetséges biztonsági kockázat kivizsgálását. Ebben az esetben nagy pontossággal fogunk visszahívni a pontosság rovására (sok zsákot megvizsgálnak, ahol nincsenek biztonsági veszélyek).