Quando la precisione è più importante del richiamo?

• Per dati sul cancro raro modellazione, tutto ciò che non tiene conto dei falsi negativi è un crimine. Ricorda che è una misura migliore della precisione.
• Per i consigli di YouTube, i falsi negativi sono meno preoccupanti. La precisione è migliore qui.

Commenti

• @fate h La differenza principale è FP vs FN. La raccomandazione di YouTube non ‘ t pone laccento sulla FN ma le decisioni cliniche ospedaliere devono.

Sebbene in alcune situazioni il richiamo possa essere più importante della precisione (o viceversa), hai bisogno di entrambi per ottenere una valutazione più interpretabile.

Ad esempio, come notato da @SmallChess, nella comunità medica , un falso negativo è solitamente più disastroso di un falso positivo per le diagnosi preliminari. Pertanto, si potrebbe considerare il richiamo come una misura più importante. Tuttavia, potresti avere un richiamo al 100% ma avere un modello inutile: se il tuo modello restituisce sempre una previsione positiva, avrebbe un richiamo al 100% ma sarebbe completamente non informativo.

Questo è il motivo per cui esaminiamo più metriche:

• curva di richiamo di precisione
• AUROC
• e talvolta metriche come punteggio F

Ciò che è più importante dipende semplicemente dal costo di ogni errore.

La precisione tende a comportare costi diretti; più falsi positivi hai, maggiore è il costo per vero positivo. Se i costi sono bassi, la precisione non ha molta importanza. Ad esempio, se hai 1 milione di indirizzi email e linvio di unemail a tutti costa $ 10, probabilmente non vale la pena provare a identificare le persone più propense a rispondere, piuttosto semplicemente inviandole tutte come spam.

Il ricordo, invece, tende a comportare costi di opportunità; rinunci alle opportunità ogni volta che hai un falso negativo. Quindi il richiamo è meno importante quando il valore marginale dellidentificazione corretta aggiuntiva è piccolo, ad es. ci sono molteplici opportunità, cè poca differenza tra loro e solo un numero limitato può essere perseguito. Ad esempio, supponi di voler acquistare una mela. Ci sono 100 mele nel negozio e 10 di loro sono cattive. Se hai un metodo per distinguere le mele marce che manca l80% di quelle buone, identificherai circa 18 mele buone. Normalmente, un richiamo del 20% sarebbe terribile, ma se vuoi solo 5 mele, perdere quelle altre 72 mele non ha molta importanza.

Quindi il richiamo è più importante quando:

-Il numero di opportunità è piccolo (se ci fossero solo 10 mele buone, è improbabile che ne trovi 5 buone con un tasso di richiamo di solo il 20%)
-Ci sono differenze significative tra le opportunità (se alcune le mele sono migliori di altre, quindi un tasso di richiamo del 20% è sufficiente per ottenere 5 mele buone, ma non saranno necessariamente le migliori mele)
OPPURE
-Il il beneficio marginale delle opportunità rimane elevato, anche per un gran numero di opportunità. Ad esempio, mentre la maggior parte degli acquirenti non trarrà grandi vantaggi da più di 18 mele buone, il negozio vorrebbe avere più di 18 mele da vendere.

Pertanto, la precisione essere più importante del ricordare quando il costo della recitazione è alto, ma il costo della non recitazione è basso.Nota che questo è il costo di recitazione / non recitazione per candidato, non “costo di avere alcuna azione” contro “costo di non avere alcuna azione”. Nellesempio della mela, è il costo di acquistare / non acquistare una particolare mela, non il costo di acquistare alcune mele rispetto al costo di non acquistare alcuna mela; il costo di non acquistare una particolare mela è basso perché ce ne sono molte altre mele. Poiché il costo per lacquisto di una mela marcia è elevato, ma il costo per rinunciare a una particolare mela buona è basso, la precisione è più importante in questo esempio. Un altro esempio potrebbe essere lassunzione quando ci sono molti candidati simili.

Il ricordo è più importante della precisione quando il costo della recitazione è basso, ma il costo opportunità di rinunciare a un candidato è alto. Cè lesempio di spam che ho fornito in precedenza (il costo di perdere un indirizzo e-mail non è alto, ma il costo di inviare une-mail a qualcuno che non risponde è ancora inferiore), e un altro esempio sarebbe lidentificazione candidati per il vaccino antinfluenzale: somministrare il vaccino antinfluenzale a qualcuno che non ne ha bisogno e costa pochi dollari, non darlo a qualcuno che ne ha bisogno e potrebbe morire. Per questo motivo, piani di assistenza sanitaria generalmente offrirà il vaccino antinfluenzale a tutti, ignorando completamente la precisione.

Accumulation ha unottima risposta su come puoi trovare più esempi che spieghino limportanza della precisione rispetto al ricordo e viceversa.

La maggior parte delle altre risposte fornisce un caso convincente per limportanza di richiamo così ho pensato di dare un esempio sullimportanza della precisione. Questo è un esempio completamente ipotetico, ma è il caso.

Supponiamo che un modello di apprendimento automatico venga creato per prevedere se un determinato giorno è un buon giorno per lanciare satelliti o meno in base alle condizioni meteorologiche.

• Se il modello prevede accidentalmente che una buona giornata per il lancio dei satelliti è negativa ( falso negativo ), perdiamo loccasione di lanciare. Questo non è un grosso problema.

• Tuttavia, se il modello prevede che è una buona giornata, ma in realtà è una brutta giornata per lanciare i satelliti ( falso positivo ), i satelliti potrebbero essere distrutti e il costo dei danni sarà di miliardi.

Questo è un caso in cui la precisione è più importante del richiamo.

Ho avuto difficoltà a ricordare la differenza tra precisione e richiamo, fino a quando non mi è venuto in mente questo mnemonico:

PREcision è per i test PREgnancy come reCALL è per CALL center.

Con un test di gravidanza, il produttore del test deve essere sicuro che un risultato positivo significhi che la donna è davvero incinta. Le persone potrebbero reagire a un test positivo sposandosi improvvisamente o acquistando una casa (se molti consumatori ricevessero falsi positivi e subissero costi enormi senza motivo, il produttore del test mancherebbe di clienti). Una volta ho ricevuto un test di gravidanza falso negativo, e significava solo che ci sono volute alcune settimane prima che scoprissi di essere incinta … la verità alla fine è diventata APPARENTE. (Gioco di parole)

Ora immagina un call center per richieste di risarcimento. La maggior parte dei reclami fraudolenti viene telefonata il lunedì, dopo che i truffatori si sono messi in contatto con i collaboratori e hanno creato le loro storie inventate (“diciamo” che lauto è stata rubata “) durante il fine settimana. Qual è la cosa migliore che una compagnia di assicurazioni faccia il lunedì? Forse dovrebbero sintonizzarsi per favorire il ricordo rispetto alla precisione. È molto meglio contrassegnare più richieste come positive (probabile frode) per ulteriori indagini piuttosto che perdere alcune delle frodi e pagare in contanti che non avrebbero mai dovuto essere pagati. Un falso positivo (contrassegnato per ulteriori controlli come possibile frode, ma la perdita del cliente era reale) può essere probabilmente risolto assegnando un aggiustatore esperto, che può insistere su un rapporto della polizia, richiedere la creazione di un video di sicurezza, ecc. Un falso negativo (accettare il falso reclamo di un truffatore e il pagamento in contanti) è pura perdita per la compagnia di assicurazioni e incoraggia più frodi.

La F1 è ottima, ma capire come verranno utilizzati i test / le previsioni è molto importante, perché cè sempre qualche rischio di sbagliare … vuoi sapere quanto terribili saranno le conseguenze se sbagliato.

Rilevamento di spam e-mail : questo è uno degli esempi in cui Precisione è più importante di Richiama .

Riepilogo rapido :

• Precisione : indica quando prevedi qualcosa di positivo, quante volte sono state effettivamente positive.mentre,

• Recall : questo indica dati positivi effettivi, quante volte hai previsto correttamente.

Detto questo, in caso di rilevamento di email di spam, One dovrebbe essere a posto se unemail di spam (caso positivo) non viene rilevata e non lo fa ” t andare alla cartella spam ma , se unemail è buona (negativa), allora deve non andare nella cartella spam. ad esempio La precisione è più importante. (Se il modello prevede qualcosa di positivo (ad es. spam), è meglio che sia spam. altrimenti, potresti perdere email importanti).

Spero che chiarisca.

Quando abbiamo una classe sbilanciata e abbiamo bisogno di veri positivi alti, la precisione è preferita al richiamo. perché la precisione non ha falsi negativi nella sua formula, il che può avere un impatto.

Ecco “un semplice esempio che ho preso dal libro di Aurelion Geron, Apprendimento automatico pratico con Scikit-Learn e Tensorflow. Immagina di voler assicurarci che il nostro blocco di siti web per nostro figlio consenta di mostrare solo siti web “sicuri”.

In questo caso, un sito web “sicuro” è la classe positiva. Qui, vogliamo che il blocco sia assolutamente certo che il sito Web sia sicuro, anche se si prevede che alcuni siti Web sicuri facciano parte della classe negativa o non sicura e di conseguenza vengano bloccati. Cioè, vogliamo unelevata precisione a scapito del richiamo.

Nel caso della sicurezza aeroportuale, dove un rischio per la sicurezza è la classe positiva, vogliamo assicurarci che ogni potenziale rischio per la sicurezza sia studiato. In questo caso, avremo un elevato richiamo a scapito della precisione (verranno esaminate molte borse in cui non sono presenti rischi per la sicurezza).