Când este mai importantă precizia asupra reamintirii?

• Pentru date rare despre cancer modelare, orice lucru care nu „contabilizează fals-negative este o infracțiune. Recall este o măsură mai bună decât precizia.
• Pentru recomandările YouTube, fals-negativele sunt mai puțin preocupante. Precizia este mai bună aici.

Comentarii

• @fate h Diferența majoră este FP vs FN. Recomandarea YouTube nu ‘ nu pune accent pe FN, dar deciziile clinice spitalicești trebuie.

Deși în unele situații amintirea poate fi mai importantă decât precizia (sau invers), aveți nevoie de amândouă pentru a obține o evaluare mai interpretabilă.

De exemplu, așa cum a menționat @SmallChess, în comunitatea medicală , un fals negativ este de obicei mai dezastruos decât un fals pozitiv pentru diagnosticele preliminare. Prin urmare, s-ar putea considera că amintirea este o măsurare mai importantă. Cu toate acestea, ați putea avea o reamintire de 100%, dar aveți un model inutil: dacă modelul dvs. produce întotdeauna o predicție pozitivă, ar avea o reamintire de 100%, dar ar fi complet neinformativ.

Acesta este motivul pentru care analizăm mai multe valori:

• curba de rechemare de precizie
• AUROC
• și, uneori, valori precum scor F

Ceea ce este mai important depinde pur și simplu de costurile fiecărei erori.

Precizia tinde să implice costuri directe; cu cât aveți mai mulți pozitivi falși, cu atât aveți mai mult cost pe fiecare pozitiv adevărat. Dacă costurile dvs. sunt mici, atunci precizia nu contează la fel de mult. De exemplu, dacă aveți 1 milion de adrese de e-mail și va costa 10 USD pentru a le trimite un e-mail tuturor, probabil că nu merită timpul pentru a încerca să identificați persoanele cu cea mai mare probabilitate de a răspunde, mai degrabă doar spamul tuturor.

Amintim, pe de altă parte, tinde să implice costuri de oportunitate; renunți la oportunități de fiecare dată când ai un fals negativ. Deci, reamintirea este cel mai puțin importantă atunci când valoarea marginală a identificării corecte suplimentare este mică, de ex. există multiple oportunități, există puține diferențe între ele și numai un număr limitat poate fi urmărit. De exemplu, să presupunem că doriți să cumpărați un măr. Există 100 de mere la magazin, iar 10 dintre ele sunt rele. Dacă aveți o metodă de a distinge merele rele care lipsesc 80% dintre cele bune, atunci veți identifica aproximativ 18 mere bune. În mod normal, o rechemare de 20% ar fi teribilă, dar dacă doriți doar 5 mere, lipsa celor 72 de mere nu contează cu adevărat.

Deci, reamintirea este cea mai importantă atunci când:

-Numărul de oportunități este mic (dacă ar exista doar 10 mere bune, atunci este puțin probabil să găsiți 5 bune cu o rată de rechemare de doar 20%)
-Există diferențe semnificative între oportunități (dacă unele merele sunt mai bune decât altele, atunci o rată de rechemare de 20% este suficientă pentru a obține 5 mere bune, dar nu vor fi neapărat cele mai bune mere)
SAU
beneficiul marginal al oportunităților rămâne ridicat, chiar și pentru un număr mare de oportunități. De exemplu, în timp ce majoritatea cumpărătorilor nu vor beneficia de mai mult de 18 mere bune, magazinul ar dori să aibă mai mult de 18 mere de vândut.

Astfel, precizia va să fie mai important decât să vă amintiți atunci când costul de a acționa este mare, dar costul de a nu acționa este scăzut.Rețineți că acesta este costul de a acționa / a nu acționa pe candidat, nu de „costul de a lua vreo acțiune” versus „costul de a nu avea vreo acțiune deloc”. În exemplul mărului, este „costul de cumpărare / nu cumpărare a unui anumit măr, nu costul cumpărării unor mere comparativ cu costul neîncărcării vreunui mere; costul neîncărcării unui anumit măr este scăzut deoarece există o mulțime de alte mere. Deoarece costul cumpărării unui măr rău este mare, dar costul transmiterii unui anumit măr bun este mic, precizia este mai importantă în acest exemplu. Un alt exemplu ar fi angajarea atunci când există „mulți candidați similari.

Reamintirea este mai importantă decât precizia atunci când costul de acțiune este scăzut, dar costul de oportunitate de a renunța la un candidat este ridicat. Exemplul de spam pe care l-am dat mai devreme (costul lipsei unei adrese de e-mail nu este mare, dar costul trimiterii unui e-mail către cineva care nu răspunde este chiar mai mic), iar un alt exemplu ar fi identificarea candidați la vaccinul antigripal: dați vaccinul antigripal cuiva care nu are nevoie de el și costă câțiva dolari, nu îl dați cuiva care are nevoie și ar putea muri. Din această cauză, planurile de îngrijire a sănătății va oferi, în general, vaccinul împotriva gripei tuturor, ignorând în totalitate precizia.

Acumularea are un răspuns excelent cu privire la modul în care puteți veni cu mai multe exemple care să explice importanța preciziei față de rechemare și viceversa.

Majoritatea celorlalte răspunsuri reprezintă un argument convingător pentru importanță de amintire, așa că am crezut că aș da un exemplu despre importanța preciziei. Acesta este un exemplu complet ipotetic, dar face acest lucru.

Să spunem că un model de învățare automată este creat pentru a prezice dacă o anumită zi este o zi bună pentru a lansa sateliți sau nu în funcție de vreme.

• Dacă modelul prezice accidental că o zi bună pentru lansarea sateliților este proastă ( fals negativ ), pierdem șansa de a lansa. Nu este o problemă atât de mare.

• Cu toate acestea, dacă modelul prezice că este o zi bună, dar este de fapt o zi proastă pentru lansarea sateliților ( fals pozitiv ) atunci sateliții pot fi distruși, iar costul daunelor va fi în miliarde.

Acesta este un caz în care precizia este mai importantă decât rechemarea.

Mi-a fost greu să-mi amintesc diferența dintre precizie și rechemare, până când am venit cu această mnemonică pentru mine:

PREcizia este efectuarea testelor de precomandă, deoarece reCALL este către centrul CALL.

Cu un test de sarcină, producătorul testului trebuie să fie sigur că un rezultat pozitiv înseamnă că femeia este într-adevăr gravidă. Oamenii ar putea reacționa la un test pozitiv căsătorindu-se brusc sau cumpărând o casă (dacă mulți consumatori ar obține falsuri pozitive și ar suporta costuri uriașe fără niciun motiv, producătorul testului ar avea lipsă de clienți). Am primit un test fals negativ de sarcină o dată și a însemnat că a mai durat câteva săptămâni până când am aflat că sunt însărcinată … adevărul a devenit în cele din urmă APARENT. (Pun intenționat.)

Acum imaginați un centru de apeluri pentru daune de asigurare. Cele mai multe reclamații frauduloase sunt sunate luni, după ce fraudații se conectează cu colaboratorii și își elaborează poveștile inventate („să spunem că mașina a fost furată”) în weekend. Care este cel mai bun lucru pentru o companie de asigurări în zilele de luni? Poate că ar trebui să se acorde pentru a favoriza amintirea decât precizia. Este mult mai bine să semnalăm mai multe reclamații drept pozitive (probabil fraudă) pentru investigații ulterioare decât să pierdeți o parte din fraudă și să plătiți numerar care nu ar fi trebuit plătit niciodată. Un fals pozitiv (marcat pentru control suplimentar ca posibil fraudă, dar pierderea clientului a fost real) poate fi clarificat prin atribuirea unui ajustator cu experiență, care poate insista asupra unui raport al poliției, poate solicita construirea unui videoclip de securitate etc. Un fals negativ (acceptarea reclamația falsă a unui fraudator și plata în numerar) este o pierdere pură pentru compania de asigurări și încurajează mai multe fraude.

F1 este extraordinar, dar înțelegerea modului în care va fi utilizat testul / predicția este cu adevărat importantă, deoarece există întotdeauna un risc de greșeală … doriți să știți cât de grave vor fi consecințele dacă sunt greșite.

Detectare e-mail spam : Acesta este unul dintre exemplele în care Precizie este mai important decât Reamintim .

Recapitulare rapidă :

• Precision : Aceasta spune când preziceți ceva pozitiv, de câte ori au fost de fapt pozitive.întrucât,

• Reamintim : Aceasta arată din datele pozitive reale, de câte ori ați prezis corect.

După cum am spus mai sus, în caz de detectare a mesajelor spam, ar trebui să fim în regulă dacă un e-mail spam (caz pozitiv) a rămas nedetectat și nu ” nu mergeți la dosarul spam dar , dacă un e-mail este bun (negativ), atunci trebuie să nu mergeți în dosarul de spam. Adică Precizia este mai importantă. (Dacă modelul prezice ceva pozitiv (adică spam), mai bine să fie spam. altceva, este posibil să pierdeți e-mailurile importante).

Sper că se clarifică.

Când avem o clasă dezechilibrată și avem nevoie de pozitive adevărate ridicate, precizia este preferată în locul reamintirii. deoarece precizia nu are fals negativ în formula sa, ceea ce poate avea un impact.

Iată „un exemplu simplu pe care l-am luat din cartea lui Aurelion Geron, Hands-on Machine Learning cu Scikit-Learn și Tensorflow. Imaginați-vă că dorim să ne asigurăm că blocatorul nostru de site-uri web pentru copilul nostru permite doar afișarea site-urilor web „sigure”.

În acest caz, un site web „sigur” este clasa pozitivă. Aici, dorim ca blocatorul să fie absolut sigur că site-ul web este sigur, chiar dacă unele site-uri web sigure sunt prezise ca făcând parte din clasa negativă sau nesigură și, prin urmare, sunt blocate. Adică, dorim o precizie ridicată în detrimentul rechemării.

În cazul securității aeroporturilor, unde un risc de siguranță este clasa pozitivă, dorim să ne asigurăm că este investigat orice risc potențial de siguranță. În acest caz, vom avea o rechemare ridicată în detrimentul preciziei (o mulțime de pungi în care nu există pericole de siguranță vor fi investigate).