Usando sklearn.metrics em Python, calculei a precisão média (com average_precision_score) e precisão (com classificação_report) ao testar as métricas do modelo. No entanto, obtive respostas diferentes (0,89 vs 0,93, respectivamente). Eu li a documentação de ambos e sei que as equações são diferentes, mas esperava obter uma explicação intuitiva sobre as diferenças entre os dois e quando usar um em vez do outro.
Comentários
- Isso vai ser difícil para as pessoas abordarem. Você deve criar um link para a documentação que está tendo problemas para interpretar, & copie o texto / equações específicas que você ' não entende. Etc. Você precisa fornecer contexto suficiente para que isso seja interpretável. Queremos que os tópicos aqui sejam independentes.
- este artigo fornece uma descrição detalhada com exemplos Dividindo a precisão média média (mAP)
Resposta
A precisão se refere à precisão em um determinado limite de decisão. Por exemplo, se você contar qualquer saída de modelo menor que 0,5 como negativa e maior que 0,5 como positiva. Mas às vezes (especialmente se suas classes não forem balanceadas ou se você quiser favorecer a precisão em relação à recuperação ou vice-versa), você pode querer variar esse limite. A precisão média fornece a precisão média em todos os limites possíveis, que também é semelhante à área sob a curva de recuperação de precisão. É uma métrica útil para comparar quão bem os modelos estão ordenando as previsões, sem considerar nenhum limite de decisão específico.
Referência: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.average_precision_score.html
Resposta
A precisão é Pr = TP / (TP + FP) onde está TP e FP são verdadeiros positivos e falsos positivos. então, usamos essa métrica para avaliar sistemas como classificadores para saber com que precisão encontramos positivos. se o seu classificador marcou uma entrada como True, mesmo que seja False em real, ele aumenta FP, que por sua vez diminui Pr. Portanto, seu sistema não é preciso. portanto, no caso de classificadores, não precisamos saber qual entrada tem a maior probabilidade de pertencer a uma classe ou coisas do gênero.
onde, digamos que você construiu um aplicativo que procura por música vídeos. então, se uma consulta for feita sobre uma música (digamos que eu queira me libertar), se as primeiras 5 entradas recuperadas da consulta não estiverem relacionadas à música ou à banda “Queen” e as entradas de 6 a 10 estiverem relacionadas para eles, então seu aplicativo é um desperdício total. então, nestes casos em que a ordem é importante, calculamos a precisão e rechamada (Re = TP / (TP + FN)) e a área sob a curva é MAP (precisão média média)
A intuição por trás do ideia é a seguinte, como o número de entradas verdadeiras em reais são fixas, mover para uma próxima entrada aumenta a rechamada (quando você encontra um positivo verdadeiro) ou mantém a mesma (quando você encontra um positivo falso) onde conforme a precisão diminui se FP foi encontrado) e permanece o mesmo ou aumenta (se TP foi encontrado) então, se você obter resultados irrelevantes no início, a precisão permanece quase 0, o que torna seu MAP 0, onde como se você encontrasse todos os resultados precisos no começando (o que basicamente significa zero FPs), então a precisão é próxima de 1, resulta em MAP próximo de 1. o que certifica seu sistema como o melhor
este artigo fornece uma descrição detalhada com exemplos