En utilisant sklearn.metrics en Python, jai calculé la précision moyenne (avec average_precision_score) et la précision (avec classification_report) tout en testant les métriques du modèle. Cependant, jai obtenu des réponses différentes (0,89 vs 0,93, respectivement). Jai lu la documentation pour les deux et je sais que les équations sont différentes, mais jespérais obtenir une explication intuitive sur les différences entre les deux et quand utiliser lune par rapport à lautre.
Commentaires
- Cela va être difficile à résoudre pour les gens. Vous devez créer un lien vers la documentation que vous ne parvenez pas à interpréter, & copiez le texte / les équations spécifiques que vous ' ne comprenez pas. Etc. Vous devez fournir un contexte suffisant pour que cela soit interprétable. Nous voulons que les threads ici puissent être autonomes.
- cet article donne une description détaillée avec des exemples Breaking Down Mean Average Precision (mAP)
Réponse
La précision fait référence à la précision à un seuil de décision particulier. Par exemple, si vous comptez une sortie de modèle inférieure à 0,5 comme négative et supérieure à 0,5 comme positive. Mais parfois (surtout si vos classes ne sont pas équilibrées, ou si vous voulez privilégier la précision au rappel ou vice versa), vous voudrez peut-être faire varier ce seuil. La précision moyenne vous donne une précision moyenne à tous ces seuils possibles, qui est également similaire à la zone sous la courbe de rappel de précision. Cest une métrique utile pour comparer dans quelle mesure les modèles classent les prédictions, sans tenir compte de seuil de décision spécifique.
Référence: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.average_precision_score.html
Réponse
La précision est Pr = TP / (TP + FP) où est TP et FP sont des vrais positifs et des faux positifs. Ainsi, nous utilisons cette métrique pour évaluer des systèmes comme les classificateurs afin de savoir avec quelle précision nous avons trouvé des positifs. si votre classificateur a marqué une entrée True même si elle est False en réel, il augmente FP, qui à son tour diminue Pr. Donc, votre système nest pas précis. donc, dans le cas des classificateurs, nous navons pas besoin de savoir quelle entrée a la plus forte probabilité dappartenir à une classe ou à des choses comme ça.
où disons que vous avez créé une application qui recherche de la musique vidéos. donc, si une requête est faite sur une chanson (disons que je veux me libérer), si les 5 premières entrées récupérées de la requête ne sont pas du tout liées à la chanson ou au groupe « Queen » et les entrées de 6 à 10 sont liées pour eux, alors votre application est un gaspillage total. donc, dans les cas où lordre compte, nous calculons la précision et le rappel (Re = TP / (TP + FN)) et laire sous la courbe est MAP (précision moyenne moyenne)
Lintuition derrière le Lidée est la suivante, comme le nombre dentrées vraies en réel est fixe, le passage à une entrée suivante augmente le rappel (lorsque vous rencontrez un vrai positif) ou le garde le même (lorsque vous rencontrez un faux positif) où à mesure que la précision diminue ( si FP a été rencontré) et reste le même ou augmente (si TP a été rencontré) donc, si vous obtenez des résultats non pertinents au début, la précision reste presque 0, ce qui rend votre MAP 0, où comme si vous trouviez tous les résultats précis au commençant (ce qui signifie essentiellement zéro FP) donc la précision est proche de 1, donne un MAP proche de 1. qui certifie votre système comme le meilleur
cet article donne une description détaillée avec des exemples