Estou atualmente comparando três métodos e tenho a Precisão, auROC e auPR como métricas. E tenho o seguinte resultados:
Método A – acc: 0,75, auROC: 0,75, auPR: 0,45
Método B – acc: 0,65, auROC: 0,55, auPR: 0,40
Método C – acc: 0,55, auROC: 0,70, auPR: 0,65
Tenho um bom entendimento de precisão e auROC (para me lembrar bem, muitas vezes tento encontrar uma frase como “auROC = caracterizar o capacidade de prever bem a classe positiva “, embora não seja exatamente correto, isso me ajuda a lembrar. Nunca tive dados auPR antes e, embora eu entenda como eles são construídos, não consigo entender o” sentimento “por trás deles.
Na verdade, não consigo entender por que o método C tem uma pontuação incrivelmente alta para auPR, embora seja ruim / médio para a precisão e auPR.
Se alguém pudesse me ajudar a entendê-lo, um pouco melhor com uma explicação simples que seria realmente ótima. Obrigada.
Resposta
Um eixo das curvas ROC e PR é o mesmo, ou seja, TPR: quantos casos positivos foram classificados corretamente de todos os casos positivos nos dados.
O outro eixo é diferente. O ROC usa FPR, que é o número de positivos declarados erroneamente de todos os negativos nos dados. A curva PR usa precisão: quantos positivos verdadeiros de todos os que foram previstos como positivos. Portanto, a base do segundo eixo é diferente. ROC usa o que está nos dados, PR usa o que está na previsão como base.
A curva de RP é considerada mais informativa quando há um desequilíbrio de classe alta nos dados, consulte este artigo http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf .
Comentários
- Para auROC, 0,5 é o mínimo (porque menos seria melhor invertendo a previsão). Existem regras semelhantes com o auPR? Também em relação às minhas medições: o que eu poderia afirmar ao olhar as pontuações do Método C? Porque eu ' estou trabalhando com o mesmo conjunto de dados nos 3 casos e, do meu ponto de vista, para um conjunto de dados com distribuição mais ou menos uniforme entre as classes, não ' não faz sentido que o auROC e o auPR não sigam a mesma classificação para meus métodos.
- qual é a pontuação do classificador aleatório no auPR? Eu sei que ' s 0,5 em auROC, mas não consigo saber em auPR.
- A pontuação auPR esperada para um classificador aleatório é apenas a proporção de verdadeiro positivo casos no conjunto de dados. Essa é a precisão que você esperaria se adivinhasse a classe e a obteria para todos os níveis de recuperação. Portanto, a curva PR esperada para um classificador aleatório é apenas um retângulo com comprimentos laterais " proporção de verdadeiros positivos " x 1. Por exemplo, se o seu conjunto de dados contém 10% de casos positivos e 90% de casos negativos, o auPR esperado ao acaso é 0,1.