Wann ist Präzision wichtiger als Rückruf?

• Für seltene Krebsdaten Modellierung ist alles, was keine falsch-negativen Ergebnisse berücksichtigt, ein Verbrechen. Rückruf ist ein besseres Maß als Präzision.
• Bei YouTube-Empfehlungen sind falsch-negative Ergebnisse weniger wichtig. Präzision ist hier besser.

Kommentare

• @fate h Der Hauptunterschied ist FP gegen FN. Die YouTube-Empfehlung ‚ legt keinen Schwerpunkt auf FN, aber klinische Entscheidungen im Krankenhaus müssen getroffen werden.

Obwohl in einigen Situationen der Rückruf wichtiger sein kann als die Präzision (oder umgekehrt), Sie benötigen beide, um eine besser interpretierbare Bewertung zu erhalten.

Zum Beispiel, wie von @SmallChess in der medizinischen Gemeinschaft festgestellt Ein falsches Negativ ist für vorläufige Diagnosen normalerweise katastrophaler als ein falsches Positiv. Daher könnte man den Rückruf als wichtigere Messung betrachten. Sie könnten jedoch einen 100% igen Rückruf haben und dennoch ein nutzloses Modell haben: Wenn Ihr Modell immer eine positive Vorhersage ausgibt, würde es einen 100% igen Rückruf haben, aber völlig uninformativ sein.

Aus diesem Grund betrachten wir mehrere Metriken:

• Präzisionsrückrufkurve
• AUROC
• und manchmal Metriken wie die F-Punktzahl

Was wichtiger ist, hängt einfach davon ab, wie hoch die Kosten für jeden Fehler sind.

Präzision ist in der Regel mit direkten Kosten verbunden. Je mehr False Positives Sie haben, desto mehr Kosten pro True Positive haben Sie. Wenn Ihre Kosten niedrig sind, spielt Präzision keine Rolle. Wenn Sie beispielsweise 1 Million E-Mail-Adressen haben und das Senden einer E-Mail an alle 10 US-Dollar kostet, lohnt es sich wahrscheinlich nicht, dies zu versuchen Identifizieren Sie die Personen, die am wahrscheinlichsten reagieren, und spammen Sie sie alle.

Rückruf andererseits ist tendenziell mit Opportunitätskosten verbunden. Sie geben jedes Mal Gelegenheiten auf, wenn Sie ein falsches Negativ haben. Daher ist der Rückruf am wenigsten wichtig, wenn der Grenzwert der zusätzlichen korrekten Identifizierung klein ist, z. Es gibt mehrere Möglichkeiten, es gibt kaum Unterschiede zwischen ihnen und nur eine begrenzte Anzahl kann verfolgt werden. Angenommen, Sie möchten einen Apfel kaufen. Es gibt 100 Äpfel im Laden, und 10 davon sind schlecht. Wenn Sie eine Methode zur Unterscheidung von schlechten Äpfeln haben, bei der 80% der guten fehlen, werden Sie ungefähr 18 gute Äpfel identifizieren. Normalerweise wäre ein Rückruf von 20% schrecklich, aber wenn Sie nur 5 Äpfel möchten, spielt das Fehlen dieser anderen 72 Äpfel keine Rolle.

Der Rückruf ist also am wichtigsten, wenn:

– Die Anzahl der Gelegenheiten ist gering (wenn es nur 10 gute Äpfel gäbe, würden Sie wahrscheinlich keine 5 guten mit einer Rückrufquote von nur 20% finden).
– Es gibt signifikante Unterschiede zwischen den Möglichkeiten (falls vorhanden) Äpfel sind besser als andere, dann reicht eine Rückrufquote von 20% aus, um 5 gute Äpfel zu erhalten, aber sie werden nicht unbedingt die besten Äpfel sein)
ODER
-Die Der marginale Nutzen von Chancen bleibt hoch, selbst für eine große Anzahl von Chancen. Während zum Beispiel die meisten Käufer nicht viel von mehr als 18 guten Äpfeln profitieren, möchte der Store mehr als 18 Äpfel verkaufen.

Präzision wird es also Seien Sie wichtiger als der Rückruf, wenn die Kosten für das Handeln hoch sind, aber die Kosten für das Nichthandeln niedrig sind.Beachten Sie, dass dies die Kosten für das Handeln / Nichthandeln pro Kandidat sind, nicht die „Kosten für das Ausführen einer Aktion“ im Vergleich zu den „Kosten für das Ausführen einer Aktion überhaupt“. Im Apfelbeispiel sind es die Kosten für den Kauf / Nichtkauf eines bestimmten Apfels, nicht die Kosten für den Kauf einiger Äpfel im Vergleich zu den Kosten für den Nichtkauf von Äpfeln. Die Kosten für den Nichtkauf eines bestimmten Apfels sind niedrig, da es viele gibt andere Äpfel. Da die Kosten für den Kauf eines schlechten Apfels hoch sind, die Kosten für den Verzicht auf einen bestimmten guten Apfel jedoch gering, ist Präzision in diesem Beispiel wichtiger. Ein weiteres Beispiel wäre die Einstellung, wenn es „viele ähnliche Kandidaten“ gibt / p>

Rückruf ist wichtiger als Präzision, wenn die Kosten für das Handeln niedrig sind, aber die Opportunitätskosten für die Weitergabe eines Kandidaten hoch sind. Es gibt das Spam-Beispiel, das ich zuvor gegeben habe (die Kosten für das Auslassen einer E-Mail-Adresse sind nicht hoch, aber die Kosten für das Versenden einer E-Mail an jemanden, der nicht antwortet, sind noch niedriger), und ein anderes Beispiel wäre die Identifizierung Kandidaten für die Grippeschutzimpfung: Geben Sie die Grippeschutzimpfung an jemanden weiter, der sie nicht benötigt, und sie kostet ein paar Dollar. Geben Sie sie nicht an jemanden, der sie benötigt, und sie könnten sterben bietet die Grippeschutzimpfung im Allgemeinen jedem an, wobei die Präzision völlig außer Acht gelassen wird.

Akkumulation hat eine großartige Antwort darauf, wie Sie weitere Beispiele finden können, die die Wichtigkeit der Präzision gegenüber dem Rückruf erklären und umgekehrt.

Die meisten anderen Antworten sprechen für die Wichtigkeit Ich dachte, ich würde ein Beispiel für die Wichtigkeit von Präzision geben. Dies ist ein völlig hypothetisches Beispiel, aber es macht den Fall.

Nehmen wir an, dass ein Modell für maschinelles Lernen erstellt wird, um vorherzusagen, ob ein bestimmter Tag ein guter Tag ist, um Satelliten zu starten, basierend auf dem Wetter.

• Wenn das Modell versehentlich vorhersagt, dass ein guter Tag zum Starten von Satelliten schlecht ist ( falsch negativ ), wir verpassen die Chance zu starten. Das ist keine so große Sache.

• Wenn das Modell jedoch vorhersagt, dass es ein guter Tag ist, aber tatsächlich ein schlechter Tag, um die Satelliten zu starten ( falsch positiv ) dann können die Satelliten zerstört werden und die Kosten für Schäden werden in Milliardenhöhe liegen.

Dies ist Ein Fall, in dem Präzision wichtiger ist als Rückruf.

Es fiel mir schwer, mich an den Unterschied zwischen Präzision und Rückruf zu erinnern. bis ich mir diese Mnemonik ausgedacht habe:

Die Präzision bezieht sich auf Schwangerschaftstests, ebenso wie der Rückruf auf das CALL-Zentrum.

Bei einem Schwangerschaftstest muss der Testhersteller sicher sein, dass ein positives Ergebnis bedeutet, dass die Frau wirklich schwanger ist. Menschen könnten auf einen positiven Test reagieren, indem sie plötzlich heiraten oder ein Haus kaufen (wenn viele Verbraucher falsch positive Ergebnisse erzielen und ohne Grund enorme Kosten erleiden würden, würden dem Testhersteller Kunden fehlen). Ich habe einmal einen falsch negativen Schwangerschaftstest erhalten, und es bedeutete nur, dass es noch ein paar Wochen dauerte, bis ich herausfand, dass ich schwanger war … die Wahrheit wurde schließlich offensichtlich. (Wortspiel beabsichtigt.)

Stellen Sie sich nun ein Callcenter für Versicherungsansprüche vor. Die meisten betrügerischen Ansprüche werden montags angerufen, nachdem sich die Betrüger über das Wochenende mit Mitarbeitern in Verbindung gesetzt und ihre erfundenen Geschichten („Sagen wir, das Auto wurde gestohlen“) verfasst haben. Was ist das Beste für eine Versicherungsgesellschaft? Montags? Vielleicht sollten sie sich darauf einstellen, den Rückruf der Präzision vorzuziehen. Es ist weitaus besser, mehr Forderungen als positiv (wahrscheinlicher Betrug) für weitere Untersuchungen zu kennzeichnen, als einen Teil des Betrugs zu verpassen und Bargeld auszuzahlen, das niemals hätte gezahlt werden dürfen. Ein falsches Positiv (zur zusätzlichen Prüfung als möglicher Betrug gekennzeichnet, aber der Kundenverlust war real) kann wahrscheinlich durch Zuweisung eines erfahrenen Justierers behoben werden, der auf einem Polizeibericht bestehen, ein Sicherheitsvideo für das Gebäude anfordern usw. Ein falsches Negativ (Akzeptieren) Die falsche Behauptung eines Betrügers und die Auszahlung in bar) ist ein reiner Verlust für die Versicherungsgesellschaft und fördert mehr Betrug.

F1 ist großartig, aber es ist wirklich wichtig zu verstehen, wie der Test / die Vorhersage verwendet wird, weil Es besteht immer das Risiko, dass Sie sich irren … Sie möchten wissen, wie schlimm die Konsequenzen sein werden, wenn sie sich irren.

E-Mail-Spam-Erkennung : Dies ist eines der Beispiele, bei denen Präzision ist wichtiger als Rufen Sie auf.

Kurzer Rückblick :

• Präzision : Dies zeigt an, wenn Sie etwas Positives vorhersagen, wie oft sie tatsächlich positiv waren.

• Rückruf : Dies zeigt aus tatsächlich positiven Daten, Wie oft haben Sie richtig vorausgesagt?

Wie oben erwähnt, sollte man im Falle der Erkennung von Spam-E-Mails in Ordnung sein, wenn eine Spam-E-Mail (positiver Fall) unentdeckt bleibt und dies nicht tut. “ Gehen Sie nicht zum Spam-Ordner , sondern . Wenn eine E-Mail gut (negativ) ist, muss sie es sein Gehen Sie nicht in den Spam-Ordner. dh Präzision ist wichtiger. (Wenn das Modell etwas Positives vorhersagt (z. B. Spam), ist es besser Spam. sonst verpassen Sie möglicherweise wichtige E-Mails.

Ich hoffe, es wird klarer.

Wann Wir haben eine unausgeglichene Klasse und wir brauchen hohe True Positives. Präzision wird dem Rückruf vorgezogen, da Präzision kein falsches Negativ in ihrer Formel hat, was sich auswirken kann.