Ik vergelijk momenteel drie methoden en ik heb de nauwkeurigheid, auROC en auPR als metrieken. En ik heb de volgende resultaten:
Methode A – acc: 0.75, auROC: 0.75, auPR: 0.45
Methode B – acc: 0.65, auROC: 0.55, auPR: 0.40
Methode C – acc: 0.55, auROC: 0.70, auPR: 0.65
Ik heb een goed begrip van nauwkeurigheid en auROC (om goed te onthouden probeer ik vaak een zin te bedenken als “auROC = karakteriseer de het vermogen om de positieve klas goed te voorspellen, hoewel het niet helemaal correct is, helpt het me eraan te herinneren). Ik heb nog nooit auPR-gegevens gehad en hoewel ik begrijp hoe het is gebouwd, kan ik het “gevoel” erachter niet krijgen.
In feite begrijp ik niet waarom de methode C een ongelooflijk hoge score heeft voor auPR, terwijl hij slecht / gemiddeld is voor de nauwkeurigheid en auPR.
Als iemand me zou kunnen helpen het te begrijpen, een beetje beter met een simpele uitleg die echt geweldig zou zijn. Dank je.
Antwoord
Een as van ROC- en PR-curves is hetzelfde, dat wil zeggen TPR: hoeveel positieve gevallen zijn correct geclassificeerd van alle positieve gevallen in de gegevens.
De andere as is anders. ROC gebruikt FPR, dat is het aantal per abuis verklaarde positieven van alle negatieven in de gegevens. PR-curve gebruikt precisie: hoeveel echte positieven van alles zijn als positief voorspeld. Dus de basis van de tweede as is anders. ROC gebruikt wat in de data staat, PR gebruikt wat in de voorspelling staat als basis.
PR-curve wordt als meer informatief beschouwd wanneer er een hoge klasseonbalans in de gegevens is, zie dit artikel http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf .
Opmerkingen
- Voor de auROC is 0,5 het minimum (omdat minder beter zou zijn door de voorspelling om te keren). Zijn er vergelijkbare regels met de auPR? Ook wat betreft mijn metingen: wat zou ik kunnen beweren door naar de scores van de methode C te kijken? Omdat ik ' m met dezelfde dataset werk in de 3 gevallen en vanuit mijn oogpunt voor een dataset met min of meer gelijkmatige verdeling over de klassen zou het niet ' is niet logisch dat de auROC en auPR niet dezelfde rangorde volgen voor mijn methoden.
- wat is de willekeurige classificatiescore in auPR? Ik ken het ' s 0,5 in auROC, maar ik kan het niet weten in auPR.
- De verwachte auPR-score voor een willekeurige classificatie is slechts de proportie van echt positief cases in de dataset. Dat is de precisie die je zou verwachten als je de klas zou raden, en je zou die precisie krijgen voor alle niveaus van herinnering. Dus de verwachte PR-curve voor een willekeurige classifier is gewoon een rechthoek met zijdelengtes " aandeel van echte positieven " x 1. Bijvoorbeeld: als uw dataset 10% positieve gevallen en 90% negatieve gevallen bevat, is de verwachte auPR onder kans 0,1.