Kdy je přesnost důležitější než odvolání?

• Údaje o vzácných rakovinách modelování, všechno, co nezohledňuje falešné negativy, je zločin. Připomeňme je lepší míra než přesnost.
• U doporučení YouTube jsou falešné negativy méně důležité. Přesnost je zde lepší.

Komentáře

• @fate h Hlavní rozdíl je FP vs FN. Doporučení YouTube ‚ neklade důraz na FN, ale klinická rozhodnutí v nemocnici musí být.

Mohu vám dát svůj skutečný případ, kdy je důležitější odvolání:

Každý týden se na našich webových stránkách registrují tisíce zákazníků zdarma. Tým call centra je chce zavolat všem, ale je to nemožné, proto mě žádají, abych vybral ty, kteří mají dobrou šanci být kupujícím (s vysokou teplotou je to, jak na ně odkazujeme). Nestaráme se o to, abychom zavolali člověka, který se nechystá koupit (takže přesnost není důležitá), ale pro nás je velmi důležité, aby všechny s vysokou teplotou byly vždy v mém výběru, takže to nejde bez nákupu. To znamená, že můj model musí mít vysokou vzpomínku , ať už jde přesnost do pekla.

Doufám, že to pomůže! Miguel.

Ačkoli v některých situacích může být odvolání důležitější než přesnost (nebo naopak), k získání více interpretovatelného hodnocení potřebujete obojí.

Například, jak uvádí @SmallChess, v lékařské komunitě falešně negativní je pro předběžné diagnózy obvykle katastrofálnější než falešně pozitivní. Proto lze považovat odvolání za důležitější měření. Mohli byste si ale vybavit 100%, přesto byste měli zbytečný model: pokud váš model vždy vydává pozitivní předpověď, měl by 100% odvolání, ale byl by zcela neinformativní.

Proto se podíváme na více metrik:

• křivka přesného vyvolání
• AUROC
• a někdy metriky, například skóre F

Co je důležitější, jednoduše záleží na tom, jaké jsou náklady na jednotlivé chyby.

Přesnost obvykle zahrnuje přímé náklady; čím více falešných pozitivů máte, tím vyšší cenu za skutečně pozitivum máte. Pokud jsou vaše náklady nízké, pak na přesnosti tolik nezáleží. Například pokud máte 1M e-mailové adresy a poslat e-mail na všechny z nich bude stát 10 $, zřejmě vám to nestojí za to vyzkoušet identifikujte lidi, kteří s největší pravděpodobností odpoví, raději jen spamujte všechny.

Na druhé straně si připomeňme, že to obvykle zahrnuje náklady příležitosti; vzdáváte se příležitostí pokaždé, když máte falešně negativní výsledek. Takže vyvolání je nejméně důležité, když je mezní hodnota dodatečné správné identifikace malá, např. existuje několik příležitostí, je mezi nimi málo odlišných a lze jich využít jen omezený počet. Předpokládejme například, že si chcete koupit jablko. V obchodě je 100 jablek a 10 z nich je špatných. Pokud máte metodu rozlišování špatných jablek, která postrádá 80% těch dobrých, pak identifikujete asi 18 dobrých jablek. Za normálních okolností by odvolání 20% bylo hrozné, ale pokud chcete jen 5 jablek, pak chybějících dalších 72 jablek na tom opravdu nezáleží.

Takže odvolání je nejdůležitější, když:

-Počet příležitostí je malý (pokud by bylo jen 10 dobrých jablek, pak je nepravděpodobné, že byste našli 5 dobrých s mírou vyvolání pouze 20%)
– Mezi příležitostmi existují významné rozdíly (pokud jsou nějaké jablka jsou lepší než ostatní, pak je k získání 5 dobrých jablek dostatečná míra 20% stažení, ale nemusí to být nejlepší jablka)
NEBO
– mezní přínos příležitostí zůstává vysoký, a to i při velkém počtu příležitostí. Například zatímco většina nakupujících nebude mít větší užitek z více než 18 dobrých jablek, obchod by chtěl mít více než 18 jablek k prodeji.

Přesnost tedy bude být důležitější než si vzpomenout, když jsou náklady na jednání vysoké, ale náklady na nečinnost jsou nízké.Upozorňujeme, že se jedná o náklady na jednání / nejednání na kandidáta, nikoli „náklady na vůbec žádnou akci“ versus „náklady na vůbec žádnou akci“. V příkladu jablek jsou to náklady na nákup / nekupování konkrétního jablka, nikoli náklady na nákup některých jablek versus náklady na nekupování žádného jablka; náklady na nekupování konkrétního jablka jsou nízké, protože existuje spousta ostatní jablka. Jelikož jsou náklady na nákup špatného jablka vysoké, ale náklady na získání konkrétního dobrého jablka nízké, je v tomto příkladu důležitější přesnost. Další příklady by byly najímání, pokud existuje mnoho podobných kandidátů.

Odvolání je důležitější než přesnost, pokud jsou náklady na jednání nízké, ale příležitostné náklady na získání kandidáta jsou vysoké. Existuje příklad spamu, který jsem uvedl dříve (náklady na chybějící e-mailovou adresu nejsou vysoké, ale náklady na zaslání e-mailu někomu, kdo neodpovídá, jsou ještě nižší) a dalším příkladem by byla identifikace kandidáti na injekci proti chřipce: podejte vakcínu proti chřipce někomu, kdo to nepotřebuje a stojí pár dolarů, nedávejte jej někomu, kdo to potřebuje, a mohli by zemřít. Z tohoto důvodu plány zdravotní péče obvykle nabídne chřipku každému, bez ohledu na přesnost.

Akumulace má skvělou odpověď na to, jak můžete přijít s dalšími příklady, které vysvětlují důležitost přesnosti při odvolání a naopak.

Většina ostatních odpovědí je přesvědčivým příkladem důležitosti vzpomenout, tak jsem si myslel, že uvedu příklad důležitosti přesnosti. Toto je zcela hypotetický příklad, ale činí to tak.

Řekněme, že je vytvořen model strojového učení, který na základě počasí předpovídá, zda je určitý den dobrým dnem pro vypuštění satelitů.

• Pokud model náhodou předpovídá, že dobrý den k vypuštění satelitů je špatný ( false negative ), chybí nám šance na start. To není tak velký problém.

• Pokud však model předpovídá, že je dobrý den, ale ve skutečnosti je to špatný den pro vypuštění satelitů ( false positive ) pak mohou být satelity zničeny a náklady na škody budou v miliardách.

To je případ, kdy přesnost je důležitější než svolání.

Měl jsem těžké vzpomenout si na rozdíl mezi přesností a svoláním, dokud jsem pro sebe nepřišel s touto mnemotechnikou:

PREcision is to PREgnancy tests as reCALL is to CALL center.

S těhotenským testem musí mít výrobce testu jistotu, že pozitivní výsledek znamená, že žena je skutečně těhotná. Lidé by na pozitivní test mohli reagovat náhlým sňatkem nebo koupí domu (pokud by mnoho spotřebitelů dostalo falešně pozitivní výsledky a bez důvodu by utrpěli obrovské náklady, výrobci testů by chyběli zákazníci). Jednou jsem dostal falešně negativní těhotenský test a znamenalo to jen několik dalších týdnů, než jsem zjistil, že jsem těhotná … pravda se nakonec stala zjevnou. (Zamýšleno jako Pun.)

Nyní si představte call centrum pro pojistné události. Většina podvodných pohledávek je telefonována v pondělí, poté, co se podvodníci spojili se spolupracovníky a během víkendu vymysleli jejich vymyslené příběhy („řekněme, že auto bylo odcizeno“). Jaká je nejlepší věc pro pojišťovnu v pondělky? Možná by se měli naladit tak, aby upřednostňovali odvolání před přesností. Je mnohem lepší označit více pohledávek jako pozitivní (pravděpodobný podvod) pro další vyšetřování, než přijít o některý z podvodů a vyplatit hotovost, která nikdy neměla být vyplacena. Falešně pozitivní (označeno jako další podvod jako možný podvod, ale ztráta zákazníka byla skutečná) lze pravděpodobně vyřešit přidělením zkušeného nastavovatele, který může trvat na policejní zprávě, požádat o vytvoření bezpečnostního videa atd. Falešně negativní (přijetí nepravdivé tvrzení podvodníka a výplata v hotovosti) je čistá ztráta pro pojišťovnu a podporuje další podvody.

F1 je skvělá, ale pochopení toho, jak bude test / předpověď použita, je opravdu důležité, protože vždy existuje určité riziko, že se mýlíte … chcete vědět, jak hrozné budou následky, pokud budou špatné.

Detekce spamu e-mailem : Toto je jeden z příkladů, kde přesnost je důležitější než Odvolat .

Rychlé shrnutí :

• Precision : To řekne, když předpovídáte něco pozitivního, kolikrát to vlastně bylo pozitivních.vzhledem k tomu,

• Připomeňme : Toto vypovídá ze skutečných pozitivních údajů, kolikrát jste správně předpovídali.

Jak již bylo řečeno výše, v případě detekce spamu byste měli být v pořádku, pokud nevyžádaný e-mail (pozitivní případ) zůstane nezjištěný a nebude “ přejít do složky spamu ale , pokud je e-mail dobrý (negativní), pak musí nechodit do složky spamu. tj. Přesnost je důležitější. (Pokud model předpovídá něco pozitivního (tj. spam), měl by to být spam. else, you may miss important emails).

Doufám, že to vyjasní.

Kdy máme nevyváženou třídu a potřebujeme vysoká skutečná pozitiva, upřednostňuje se přesnost před odvoláním. protože přesnost nemá ve svém vzorci falešně negativní výsledek, který může ovlivnit.