Usando sklearn.metrics en Python, calculé la precisión promedio (con average_precision_score) y la precisión (con class_report) mientras probaba las métricas del modelo. Sin embargo, obtuve diferentes respuestas (0.89 vs 0.93, respectivamente). Leí la documentación de ambos y sé que las ecuaciones son diferentes, pero esperaba obtener una explicación intuitiva sobre las diferencias entre los dos y cuándo usar una sobre la otra.
Comentarios
- Será difícil para la gente abordar esto. Debe vincular a la documentación que tiene problemas para interpretar, & copie el texto / ecuaciones específicos que ' no entiende. Etc. Debe proporcionar suficiente contexto para que esto sea interpretable. Queremos que los hilos de aquí sean independientes.
- Este artículo ofrece una descripción detallada con ejemplos Desglose de la precisión media media (mAP)
Respuesta
La precisión se refiere a la precisión en un umbral de decisión particular. Por ejemplo, si cuenta cualquier resultado de modelo menor que 0,5 como negativo y mayor que 0,5 como positivo. Pero a veces (especialmente si sus clases no están equilibradas, o si desea favorecer la precisión sobre la recuperación o viceversa), es posible que desee variar este umbral. La precisión promedio le brinda precisión promedio en todos esos umbrales posibles, que también es similar al área bajo la curva de precisión-recuperación. Es una métrica útil para comparar qué tan bien los modelos están ordenando las predicciones, sin considerar ningún umbral de decisión específico.
Referencia: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.average_precision_score.html
Respuesta
La precisión es Pr = TP / (TP + FP) donde es TP y FP son verdaderos positivos y falsos positivos. por lo tanto, usamos esta métrica para evaluar sistemas como clasificadores para saber con qué precisión encontramos los positivos. si su clasificador marcó una entrada como Verdadero incluso si es Falso en real, aumenta FP, lo que a su vez disminuye Pr. Entonces su sistema no es preciso. así que, en el caso de los clasificadores, no necesitamos saber qué entrada tiene la mayor probabilidad de pertenecer a una clase o cosas por el estilo.
donde digamos que creó una aplicación que busca música videos. Entonces, si se hace una consulta sobre una canción (digamos que quiero liberarme), si las primeras 5 entradas recuperadas de la consulta no están relacionadas en absoluto con la canción o la banda «Queen» y las entradas del 6 al 10 están relacionadas para ellos, su aplicación es un desperdicio total. entonces, en estos casos donde el orden es importante, calculamos la precisión y la recuperación (Re = TP / (TP + FN)) y el área bajo la curva es MAP (precisión media media)
La intuición detrás de la La idea es la siguiente, ya que el número de entradas verdaderas en real es fijo, pasar a la siguiente entrada aumenta la recuperación (cuando encuentra un verdadero positivo) o la mantiene igual (cuando encuentra un falso positivo) mientras que la precisión disminuye ( si se encontró FP) y permanece igual o aumenta (si se encontró TP) por lo que, si obtiene resultados irrelevantes al inicio, la precisión permanece casi 0, lo que hace que su MAP sea 0, donde como si encontrara todos los resultados precisos en el comenzando (que básicamente significa cero FP) por lo que la precisión está cerca de 1, da como resultado un MAP cerca de 1. lo que certifica su sistema como el mejor
este artículo brinda una descripción detallada con ejemplos