¿Cuándo es más importante la precisión que el recuerdo?

• Para datos de cáncer poco común modelado, cualquier cosa que no tenga en cuenta los falsos negativos es un delito. Recall es una mejor medida que la precisión.
• Para las recomendaciones de YouTube, los falsos negativos son menos preocupantes. Precision es mejor aquí.

Comentarios

• @fate h La principal diferencia es FP vs FN. La recomendación de YouTube no ‘ t hace hincapié en la FN, pero las decisiones clínicas del hospital deben hacerlo.

Aunque en algunas situaciones el recuerdo puede ser más importante que la precisión (o viceversa), necesita ambos para obtener una evaluación más interpretable.

Por ejemplo, como señaló @SmallChess, en la comunidad médica , un falso negativo suele ser más desastroso que un falso positivo para los diagnósticos preliminares. Por lo tanto, se podría considerar que el recuerdo es una medida más importante. Sin embargo, podría tener un recuerdo del 100% pero tener un modelo inútil: si su modelo siempre da como resultado una predicción positiva, tendría un recuerdo del 100%, pero no sería completamente informativo.

Por eso, analizamos varias métricas:

• curva de recuperación de precisión
• AUROC
• y, a veces, métricas como la puntuación F

Lo que es más importante simplemente depende del costo de cada error.

La precisión tiende a implicar costos directos; cuantos más falsos positivos tenga, mayor será el costo por verdadero positivo que tenga. Si sus costos son bajos, entonces la precisión no importa tanto. Por ejemplo, si tiene 1 millón de direcciones de correo electrónico y le costará $ 10 enviar un correo electrónico a todas ellas, probablemente no valga la pena intentarlo. identificar a las personas con más probabilidades de responder, en lugar de enviarles spam a todas.

Recordar, por otro lado, tiende a implicar costos de oportunidad; estás renunciando a oportunidades cada vez que tienes un falso negativo. Por lo tanto, recordar es menos importante cuando el valor marginal de la identificación correcta adicional es pequeño, p. hay múltiples oportunidades, hay pocas diferencias entre ellas y solo se puede perseguir un número limitado. Por ejemplo, suponga que quiere comprar una manzana. Hay 100 manzanas en la tienda y 10 de ellas son malas. Si tiene un método para distinguir las manzanas podridas que omite el 80% de las buenas, identificará unas 18 manzanas buenas. Normalmente, una recuperación del 20% sería terrible, pero si solo desea 5 manzanas, perder esas otras 72 manzanas realmente no importa.

Por lo tanto, recordar es más importante cuando:

-La cantidad de oportunidades es pequeña (si solo hubiera 10 manzanas buenas, entonces sería poco probable que encontrara 5 buenas con una tasa de recuperación de solo 20%)
-Existen diferencias significativas entre las oportunidades (si algunas las manzanas son mejores que otras, entonces una tasa de recuperación del 20% es suficiente para obtener 5 manzanas buenas, pero no necesariamente serán las mejores manzanas)
O
-El El beneficio marginal de las oportunidades sigue siendo alto, incluso para un gran número de oportunidades. Por ejemplo, si bien la mayoría de los compradores no se beneficiarán mucho de más de 18 manzanas buenas, a la tienda le gustaría tener más de 18 manzanas para vender.

Por lo tanto, la precisión Ser más importante que recordar cuando el costo de actuar es alto, pero el costo de no actuar es bajo.Tenga en cuenta que estos son los costos de actuar / no actuar por candidato, no el «costo de tener ninguna acción» versus el «costo de no tener ninguna acción». En el ejemplo de la manzana, es el costo de comprar / no comprar una manzana en particular, no el costo de comprar algunas manzanas versus el costo de no comprar ninguna manzana; el costo de no comprar una manzana en particular es bajo porque hay muchas otras manzanas. Dado que el costo de comprar una manzana podrida es alto, pero el costo de rechazar una buena manzana en particular es bajo, la precisión es más importante en ese ejemplo. Otro ejemplo sería la contratación cuando hay muchos candidatos similares.

La memoria es más importante que la precisión cuando el costo de actuar es bajo, pero el costo de oportunidad de dejar pasar a un candidato es alto. Está el ejemplo de spam que di anteriormente (el costo de perder una dirección de correo electrónico no es alto, pero el costo de enviar un correo electrónico a alguien que no responde es aún menor), y otro ejemplo sería identificar candidatos para la vacuna contra la gripe: administre la vacuna contra la gripe a alguien que no la necesita, y cuesta unos pocos dólares, no se la dé a alguien que sí la necesite, y podría morir. Debido a esto, los planes de atención médica generalmente ofrecerá la vacuna contra la gripe a todo el mundo, sin tener en cuenta la precisión por completo.

Acumulación tiene una excelente respuesta sobre cómo puede encontrar más ejemplos que expliquen la importancia de la precisión sobre la recuperación y viceversa.

La mayoría de las otras respuestas exponen un caso convincente de la importancia de memoria, así que pensé en dar un ejemplo sobre la importancia de la precisión. Este es un ejemplo completamente hipotético, pero lo justifica.

Digamos que se crea un modelo de aprendizaje automático para predecir si un día determinado es un buen día para lanzar satélites o no en función del clima.

• Si el modelo predice accidentalmente que un buen día para lanzar satélites es malo ( falso negativo ), perdemos la oportunidad de lanzar. Esto no es tan importante.

• Sin embargo, si el modelo predice que es un buen día, pero en realidad es un mal día para lanzar los satélites ( falso positivo ) entonces los satélites pueden ser destruidos y el costo de los daños será de miles de millones.

Esto es un caso en el que la precisión es más importante que el recuerdo.

Me costó recordar la diferencia entre precisión y recuerdo, hasta que se me ocurrió este mnemónico para mí:

La PRECISIÓN es hacer pruebas de embarazo como reCALL es llamar al centro.

Con una prueba de embarazo, el fabricante de la prueba debe asegurarse de que un resultado positivo significa que la mujer está realmente embarazada. La gente puede reaccionar a una prueba positiva casándose repentinamente o comprando una casa (si muchos consumidores obtuvieran falsos positivos y sufrieran enormes costos sin motivo, el fabricante de la prueba carecería de clientes). Una vez me hice una prueba de embarazo falsamente negativa, y solo significaba que pasaron algunas semanas más antes de descubrir que estaba embarazada … la verdad finalmente se hizo evidente. (Juego de palabras intencionado.)

Ahora imagine un centro de llamadas para reclamos de seguros. La mayoría de las reclamaciones fraudulentas se llaman por teléfono los lunes, después de que los estafadores se conectan con colaboradores y elaboran sus historias inventadas («digamos que el coche fue robado») durante el fin de semana. ¿Qué es lo mejor que puede hacer una compañía de seguros ¿los lunes? Tal vez deberían sintonizar para favorecer el recuerdo sobre la precisión. Es mucho mejor marcar más reclamos como positivos (posible fraude) para una investigación más profunda que perder parte del fraude y pagar en efectivo que nunca debería haberse pagado. Un falso positivo (marcado para un escrutinio adicional como posible fraude, pero la pérdida del cliente fue real) probablemente se puede aclarar asignando un ajustador experimentado, que puede insistir en un informe policial, solicitar un video de seguridad del edificio, etc. Un falso negativo (aceptar un reclamo falso de un estafador y el pago en efectivo) es pura pérdida para la compañía de seguros y fomenta más fraudes.

F1 es excelente, pero comprender cómo se utilizará la prueba / predicción es realmente importante, porque siempre existe el riesgo de equivocarse … desea saber qué tan graves serán las consecuencias si está mal.

Detección de correo no deseado : este es uno de los ejemplos en los que Precision es más importante que Recall .

Resumen rápido :

• Precision : indica cuándo predice algo positivo, cuántas veces fue realmente positivo.mientras que,

• Recall : esto indica datos positivos reales, cuántas veces ha predicho correctamente.

Habiendo dicho anteriormente, en caso de detección de correo electrónico no deseado, debería estar bien si un correo electrónico no deseado (caso positivo) no se detecta y no » t vaya a la carpeta de spam pero , si un correo electrónico es bueno (negativo), entonces debe no ir a la carpeta de spam. Es decir, Precison es más importante. (Si el modelo predice algo positivo (es decir, spam), es mejor que sea spam. de lo contrario, es posible que se pierda correos electrónicos importantes).

Espero que se aclare.

Cuándo tenemos una clase desequilibrada y necesitamos altos positivos verdaderos, se prefiere la precisión al recuerdo. porque la precisión no tiene falso negativo en su fórmula, lo que puede afectar.