Jelenleg három módszert hasonlítok össze, és a Pontosság, az auROC és az auPR a mérőszám. eredmények:
A módszer – acc: 0,75, auROC: 0,75, auPR: 0,45
B módszer – acc: 0,65, auROC: 0,55, auPR: 0,40
C módszer – acc: 0,55, auROC: 0,70, auPR: 0,65
Jól értem a pontosságot és az auROC-t (hogy jól emlékszem, gyakran megpróbálok olyan mondattal előállni, mint “auROC = jellemzi a képesség a pozitív osztály jó előrejelzésére “, bár nem éppen helyes, ez segít emlékezni). Soha nem rendelkeztem auPR adatokkal, és bár megértem, hogyan épül fel, nem tudom” megkapni a mögöttes “érzést”.
Valójában nem értem, miért van a C módszernek hihetetlenül magas pontszáma az auPR esetében, miközben rossz / átlagos a pontosság és az auPR szempontjából.
Ha valaki tudna segíteni nekem megérteni a kicsit jobb egy egyszerű magyarázattal, ami nagyon jó lenne. Köszönöm.
Válasz
A ROC- és PR-görbék egyik tengelye megegyezik, vagyis a TPR: hány pozitív eset van besorolva helyesen az összes pozitív eset közül.
A másik tengely más. A ROC az FPR-t használja, amely az adatok negatívjaiból tévesen nyilatkozott pozitívnak. A PR görbe pontosságot használ: hány igaz pozitív az összes közül, amit pozitívnak jósoltak. Tehát a második tengely alapja más. A ROC mit használ az adatokban, a PR mit használ az előrejelzésben.
Úgy gondolják, hogy a PR görbe informatívabb, ha az adatokban magas az osztály egyensúlyhiánya. Lásd ezt a cikket http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf .
Megjegyzések
- Az auROC esetében a 0,5 a minimum (mert a predikció megfordításával kevesebb lenne jobb). Van-e hasonló szabály az auPR-re? A méréseimmel kapcsolatban is: mit tudnék állítani a C módszer pontszámainak megnézésével? Mivel én ' m ugyanazzal az adatkészlettel dolgozom a 3 esetben, és az én szempontomból egy olyan adathalmaz esetében, amelynek többé-kevésbé egyenletes eloszlása van az osztályok között, nem lenne ' nincs értelme, hogy az auROC és az auPR nem ugyanazon rangsorban követik a módszereimet.
- mekkora a véletlenszerű osztályozó pontszáma az auPR-ben? Tudom, hogy ' s 0,5 az auROC-ban, de az auPR-ben nem tudom tudni.
- A véletlenszerű osztályozó várható auPR-pontszáma csak az igaz pozitív aránya esetek az adatkészletben. Ez az a pontosság, amelyet elvárhat, ha kitalálja az osztályt, és ezt a pontosságot megkapja a visszahívás minden szintjén. Tehát a véletlenszerű osztályozó várható PR görbéje csak egy téglalap, amelynek oldalhossza " az igaz pozitívak aránya " x 1. Például: ha az adatkészlet 10% pozitív és 90% negatív esetet tartalmaz, akkor a várható auPR esélye 0,1.