Mit sklearn.metrics in Python habe ich beim Testen von Modellmetriken die durchschnittliche Genauigkeit (mit durchschnittlichem Präzisionswert) und die Genauigkeit (mit Klassifizierungsbericht) berechnet. Ich habe jedoch unterschiedliche Antworten erhalten (0,89 gegenüber 0,93). Ich habe die Dokumentation für beide gelesen und weiß, dass die Gleichungen unterschiedlich sind, aber ich hatte gehofft, eine intuitive Erklärung über die Unterschiede zwischen den beiden zu erhalten und wann ich sie übereinander verwenden sollte.
Kommentare
- Dies wird für die Leute schwer zu beantworten sein. Sie sollten einen Link zu der Dokumentation erstellen, bei der Sie Probleme beim Interpretieren haben. & Kopieren Sie den spezifischen Text / die Gleichungen, die Sie ' nicht verstehen. Sie müssen einen ausreichenden Kontext bereitstellen, damit dies interpretierbar ist. Wir möchten, dass Threads hier für sich allein stehen können.
- Dieser Artikel enthält eine detaillierte Beschreibung mit Beispielen Aufschlüsselung der mittleren durchschnittlichen Präzision (mAP)
Antwort
Präzision bezieht sich auf Präzision bei einer bestimmten Entscheidungsschwelle. Wenn Sie beispielsweise eine Modellausgabe von weniger als 0,5 als negativ und von mehr als 0,5 als positiv zählen. Aber manchmal (insbesondere wenn Ihre Klassen nicht ausgewogen sind oder wenn Sie Präzision gegenüber Rückruf bevorzugen oder umgekehrt) möchten, möchten Sie diesen Schwellenwert möglicherweise variieren. Mit der durchschnittlichen Genauigkeit erhalten Sie eine durchschnittliche Genauigkeit bei allen möglichen Schwellenwerten, die auch dem Bereich unter der Präzisionsrückrufkurve ähnelt. Es ist eine nützliche Metrik, um zu vergleichen, wie gut Modelle die Vorhersagen ordnen, ohne einen bestimmten Entscheidungsschwellenwert zu berücksichtigen.
Referenz: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.average_precision_score.html
Antwort
Präzision ist Pr = TP / (TP + FP), wobei TP ist und FP sind True Positives und False Positives. Daher verwenden wir diese Metrik, um Systeme wie Klassifikatoren zu bewerten, um zu wissen, wie genau wir Positive gefunden haben. Wenn Ihr Klassifikator einen Eintrag als wahr markiert hat, auch wenn er in Wirklichkeit falsch ist, erhöht er die FP, was wiederum Pr verringert. Ihr System ist also nicht präzise. Im Fall von Klassifizierern müssen wir also nicht wissen, welcher Eintrag die höchste Wahrscheinlichkeit hat, zu einer Klasse oder ähnlichen Dingen zu gehören.
Wo haben wir beispielsweise eine App erstellt, die nach Musik sucht? Videos. Wenn also eine Abfrage zu einem Song gestellt wird (sagen wir, ich möchte mich befreien), wenn die ersten 5 abgerufenen Einträge aus der Abfrage überhaupt nicht mit dem Song oder der Band „Queen“ zusammenhängen und Einträge von 6 bis 10 miteinander verbunden sind Für sie ist Ihre App dann völlige Verschwendung. In diesen Fällen, in denen die Reihenfolge wichtig ist, berechnen wir die Genauigkeit und den Rückruf (Re = TP / (TP + FN)) und die Fläche unter der Kurve ist MAP (mittlere durchschnittliche Genauigkeit).
Die Intuition hinter dem Die Idee ist wie folgt: Wenn die Anzahl der wahren Einträge in real festgelegt ist, erhöht das Verschieben zu einem nächsten Eintrag entweder den Rückruf (wenn Sie auf wahres Positiv stoßen) oder hält ihn gleich (wenn Sie auf ein falsches Positiv stoßen), wenn die Genauigkeit abnimmt ( Wenn FP angetroffen wurde) und gleich bleibt oder zunimmt (wenn TP angetroffen wurde). Wenn Sie also zu Beginn irrelevante Ergebnisse erhalten, bleibt die Genauigkeit fast 0, wodurch Ihre MAP 0 wird, wobei Sie alle genauen Ergebnisse am finden Das Starten (was im Grunde genommen null FPs bedeutet), sodass die Genauigkeit nahe 1 liegt, führt zu einem MAP nahe 1. Dies zertifiziert Ihr System als das beste.
Dieser Artikel enthält eine detaillierte Beschreibung mit Beispielen
Aufschlüsselung der mittleren durchschnittlichen Präzision (mAP)