Quand la précision est-elle plus importante que le rappel?

• Pour les données sur les cancers rares modélisation, tout ce qui ne tient pas compte des faux négatifs est un crime. Recall est une meilleure mesure que la précision.
• Pour les recommandations YouTube, les faux négatifs sont moins préoccupants. Precision est mieux ici.

Commentaires

• @fate h La principale différence est FP vs FN. La recommandation YouTube ne ‘ ne met pas laccent sur les FN, mais les décisions cliniques des hôpitaux doivent être prises.

Je peux vous donner mon cas réel lorsque le rappel est plus important:

Nous avons des milliers de clients gratuits qui sinscrivent sur notre site Web chaque semaine. Léquipe du centre dappels veut tous les appeler, mais cest impossible, alors ils me demandent de sélectionner ceux qui ont de bonnes chances dêtre acheteur (avec une température élevée, cest ainsi que nous les appelons). Nous ne nous soucions pas dappeler un gars qui nachètera pas (donc la précision nest pas importante) mais pour nous il est très important que tous ceux à haute température soient toujours dans ma sélection, donc ils ne vont pas sans acheter. Cela signifie que mon modèle doit avoir un rappel élevé , peu importe si la précision va au diable.

Jespère que ça aide! Miguel.

Bien que dans certaines situations, le rappel puisse être plus important que la précision (ou vice versa), vous avez besoin des deux pour obtenir une évaluation plus interprétable.

Par exemple, comme indiqué par @SmallChess, dans la communauté médicale , un faux négatif est généralement plus désastreux quun faux positif pour les diagnostics préliminaires. Par conséquent, on pourrait considérer le rappel comme une mesure plus importante. Cependant, vous pourriez avoir un rappel à 100% tout en ayant un modèle inutile: si votre modèle produit toujours une prédiction positive, il aurait un rappel à 100% mais serait complètement non informatif.

Cest pourquoi nous examinons plusieurs métriques:

• courbe de rappel de précision
• AUROC
• et parfois des statistiques telles que le score F

Ce qui est le plus important dépend simplement du coût de chaque erreur.

La précision a tendance à impliquer des coûts directs; plus vous avez de faux positifs, plus le coût par vrai positif est élevé. Si vos coûts sont faibles, la précision n’a pas autant d’importance. Par exemple, si vous avez 1 million d’adresses e-mail et que l’envoi d’un e-mail à chacune d’entre elles coûtera 10 USD, il ne vaut probablement pas la peine d’essayer identifier les personnes les plus susceptibles de répondre, plutôt que de les spammer toutes.

Rappel, dautre part, a tendance à impliquer des coûts dopportunité; vous renoncez à des opportunités chaque fois que vous avez un faux négatif. Le rappel est donc le moins important lorsque la valeur marginale dune identification correcte supplémentaire est faible, par ex. les opportunités sont multiples, il y a peu de différences entre elles et seul un nombre limité peut être exploité. Par exemple, supposons que vous vouliez acheter une pomme. Il y a 100 pommes au magasin, et 10 dentre elles sont mauvaises. Si vous avez une méthode pour distinguer les mauvaises pommes qui manque 80% des bonnes, alors vous identifierez environ 18 bonnes pommes. Normalement, un rappel de 20% serait terrible, mais si vous ne voulez que 5 pommes, alors rater ces 72 autres n’a pas vraiment d’importance.

Le rappel est donc le plus important lorsque:

-Le nombre dopportunités est faible (sil ny avait que 10 bonnes pommes, alors il est peu probable que vous en trouviez 5 bonnes avec un taux de rappel de seulement 20%)
-Il existe des différences significatives entre les opportunités (si certaines les pommes sont meilleures que les autres, alors un taux de rappel de 20% suffit pour obtenir 5 bonnes pommes, mais elles ne seront pas forcément les meilleures pommes)
OU
-Le lavantage marginal des opportunités reste élevé, même pour un grand nombre dopportunités. Par exemple, alors que la plupart des acheteurs ne bénéficieront pas beaucoup de plus de 18 bonnes pommes, le magasin aimerait avoir plus de 18 pommes à vendre.

Ainsi, la précision sera être plus important que de se souvenir lorsque le coût d’agir est élevé, mais que le coût de ne pas agir est faible.Notez que ce sont les coûts pour agir / ne pas agir par candidat, et non «le coût davoir une action du tout» par rapport «le coût de ne pas avoir daction du tout». Dans lexemple de la pomme, il sagit du coût dachat / de non-achat dune pomme en particulier, et non du coût dachat de certaines pommes par rapport au coût de ne pas acheter de pommes; le coût de ne pas acheter une pomme en particulier est faible car il y a beaucoup Comme le coût dachat dune pomme pourrie est élevé, mais que le coût de laisser passer une bonne pomme en particulier est faible, la précision est plus importante dans cet exemple. Un autre exemple serait lembauche lorsquil y a « beaucoup de candidats similaires.

Le rappel est plus important que la précision lorsque le coût du jeu est faible, mais que le coût dopportunité de laisser passer un candidat est élevé. Il ya lexemple de spam que jai donné plus tôt (le coût de manquer une adresse e-mail nest pas élevé, mais le coût denvoi dun e-mail à quelquun qui ne répond pas est encore plus faible), et un autre exemple serait lidentification candidats au vaccin antigrippal: donnez le vaccin antigrippal à quelquun qui nen a pas besoin, et cela coûte quelques dollars, ne le donnez pas à quelquun qui en a besoin et ils pourraient mourir. Pour cette raison, les plans de soins de santé proposera généralement le vaccin antigrippal à tout le monde, sans tenir entièrement compte de la précision.

Accumulation a une excellente réponse sur la façon dont vous pouvez trouver plus dexemples expliquant limportance de la précision par rapport au rappel et vice versa.

La plupart des autres réponses démontrent clairement limportance de rappel donc jai pensé que je donnerais un exemple sur limportance de la précision. Cest un exemple tout à fait hypothétique mais cela rend le cas.

Disons quun modèle dapprentissage automatique est créé pour prédire si un certain jour est un bon jour pour lancer des satellites ou non en fonction de la météo.

• Si le modèle prédit accidentellement quune bonne journée pour lancer des satellites est mauvaise ( faux négatif ), nous manquons loccasion de se lancer. Ce n’est pas si grave.

• Cependant, si le modèle prédit que cest une bonne journée, mais que cest en fait une mauvaise journée pour lancer les satellites ( faux positif ) alors les satellites peuvent être détruits et le coût des dommages se chiffre en milliards.

Cest un cas où la précision est plus importante que le rappel.

Jai eu du mal à me souvenir de la différence entre précision et rappel, jusquà ce que je trouve ce mnémonique pour moi-même:

PREcision est aux tests de PREgnancy comme reCALL est au centre CALL.

Avec un test de grossesse, le fabricant du test doit être sûr quun résultat positif signifie que la femme est vraiment enceinte. Les gens pourraient réagir à un test positif en se mariant soudainement ou en achetant une maison (si de nombreux consommateurs obtenaient de faux positifs et subissaient des coûts énormes sans raison, le fabricant du test manquerait de clients). Jai eu un test de grossesse faux négatif une fois, et cela signifiait simplement quil fallait encore quelques semaines avant de découvrir que jétais enceinte … la vérité est finalement devenue apparente. (Jeu de mots voulu.)

Maintenant, imaginez un centre dappels pour les réclamations dassurance. La plupart des réclamations frauduleuses sont envoyées par téléphone le lundi, après que les fraudeurs se sont mis en contact avec des collaborateurs et ont rédigé leurs histoires inventées (« disons que la voiture a été volée ») au cours du week-end. Quelle est la meilleure chose à faire pour une compagnie dassurance le Lundi? Peut-être quils devraient saccorder pour privilégier le rappel à la précision. Il est de loin préférable de signaler plus de réclamations comme positives (fraude probable) pour une enquête plus approfondie que de manquer une partie de la fraude et de verser des espèces qui nauraient jamais dû être payées. Un faux positif (signalé pour un examen plus approfondi comme possiblement une fraude, mais la perte du client était réelle) peut probablement être résolu en affectant un expert expérimenté, qui peut insister sur un rapport de police, demander une vidéo de sécurité du bâtiment, etc. la fausse réclamation dun fraudeur et le paiement en espèces) est une pure perte pour la compagnie dassurance et encourage davantage de fraude.

La F1 est formidable, mais il est très important de comprendre comment le test / la prédiction sera utilisé, car il y a toujours un risque de se tromper … vous voulez savoir à quel point les conséquences seront désastreuses si elles sont fausses.

Détection de spam par e-mail : cest lun des exemples où Précision est plus important que Rappel .

Récapitulatif rapide :

• Précision : Cela indique lorsque vous prédisez quelque chose de positif, combien de fois ils ont été réellement positifs.considérant que,

• Rappeler : Cela indique des données positives réelles, combien de fois vous avez prédit correctement.

Cela dit, en cas de détection de-mails de spam, on devrait être daccord si un e-mail de spam (cas positif) na pas été détecté et ne le t aller dans le dossier spam mais , si un e-mail est bon (négatif), alors il doit ne pas aller dans le dossier spam. ex. La précision est plus importante. (Si le modèle prédit quelque chose de positif (cest-à-dire du spam), il vaut mieux être du spam. else, vous risquez de manquer des e-mails importants).

Jespère que cela clarifie.

Quand nous avons une classe déséquilibrée et nous avons besoin de vrais positifs élevés, la précision est préférable au rappel. car la précision na pas de faux négatif dans sa formule, ce qui peut avoir un impact.

Voici « un exemple simple que jai pris extrait du livre dAurelion Geron, Hands-on Machine Learning avec Scikit-Learn et Tensorflow. Imaginez que nous voulions nous assurer que notre bloqueur de site Web pour notre enfant autorise uniquement laffichage des sites Web «sûrs».

Dans ce cas, un site Web «sûr» est la classe positive. Ici, nous voulons que le bloqueur soit absolument certain que le site Web est sûr, même si certains sites Web sûrs sont censés faire partie de la classe négative ou non sûre et sont par conséquent bloqués. Autrement dit, nous voulons une haute précision au détriment du rappel.

Dans le cas de la sécurité des aéroports, où un risque de sécurité est la classe positive, nous voulons nous assurer que chaque risque de sécurité potentiel fait lobjet dune enquête. Dans ce cas, nous aurons un rappel élevé au détriment de la précision (beaucoup de sacs sans danger pour la sécurité seront étudiés).