A sklearn.metrics használatával a Pythonban kiszámoltam az átlagos pontosságot (átlagos_precíziós_pontszámmal) és a pontosságot (a besorolási_jelentéssel) a modell metrikáinak tesztelése közben. Ugyanakkor különböző válaszokat kaptam (0,89 vs. 0,93, ill. Elolvastam mindkettő dokumentációját, és tudom, hogy az egyenletek különböznek, de reménykedtem abban, hogy intuitív magyarázatot kapok a kettő közötti különbségekről és arról, hogy mikor kell használni az egyiket a másik felett.
Megjegyzések
- Ezt az emberek nehezen tudják megszólítani. Linkeljen arra a dokumentációra, amelynek értelmezésével nehézségei vannak, & másolja át az Ön által nem értett szöveget / egyenleteket '. Stb. Meg kell adnia elegendő kontextust ahhoz, hogy ez értelmezhető legyen. Azt akarjuk, hogy az itt található szálak egyedül állhassanak.
- Ez a cikk részletes leírást ad példákkal Az átlagos átlagos pontosság (bontás) (mAP) példákkal.
Válasz
A pontosság a pontosságra utal egy adott döntési küszöbön. Például, ha bármelyik modellnél 0,5-nél kisebb kimenetet negatívnak és 0,5-nél nagyobbat pozitívnak számít. De néha (főleg, ha osztályai nem kiegyensúlyozottak, vagy ha a pontosságot szeretné előnyben részesíteni a visszahívás helyett, vagy fordítva), érdemes változtatni ezen a küszöbön. Az átlagos pontosság az összes lehetséges küszöbértéknél átlagos pontosságot nyújt, ami szintén hasonló a precíziós-visszahívási görbe alatti területhez. Hasznos mutató annak összehasonlításához, hogy a modellek milyen sorrendben rendezik meg az előrejelzéseket, különösebb döntési küszöb mérlegelése nélkül.
Hivatkozás: https://scikit-learn.org/stable/modules/generated/sklearn.metrics.average_precision_score.html
Válasz
A pontosság Pr = TP / (TP + FP) ahol a TP és az FP igaz és hamis pozitív. Tehát ezt a metrikát használjuk olyan rendszerek értékelésére, mint az osztályozók, hogy tudjuk, mennyire pontosan találtunk pozitívumokat. ha osztályozója igazként jelölte meg a bejegyzést, még akkor is, ha valójában hamis, akkor növeli az FP értéket, ami viszont csökkenti a Pr Tehát a rendszere nem pontos. így a besorolók esetében nem kell tudnunk, hogy melyik bejegyzésnél van a legnagyobb valószínűség, hogy egy osztályhoz tartozunk, vagy hasonló dolgokhoz.
Ahol mondjuk mondjuk, hogy olyan alkalmazást épített, amely zenét keres videók. tehát, ha egy dalról lekérdezést tesznek (mondjuk azt, hogy el akarok szabadulni), ha a lekérdezésből az első 5 lekért bejegyzés egyáltalán nem kapcsolódik a dalhoz vagy a “Queen” zenekarhoz, és a 6 és 10 közötti bejegyzések kapcsolódnak nekik, akkor az alkalmazás teljesen pazarló. Tehát ezekben az esetekben, amikor a sorrend számít, kiszámítjuk a pontosságot és a visszahívást (Re = TP / (TP + FN)), és a görbe alatti terület MAP (átlagos átlagos pontosság)
A az ötlet a következő, mivel a valós bejegyzések száma rögzítve van a valós értéken, ha a következő bejegyzésre lép, az növeli a visszahívást (ha valódi pozitívra talál), vagy ugyanolyan marad (ha hamis pozitívra ütközik), ahol a pontosság csökken ( ha FP-vel találkoztak), és változatlan marad, vagy növekszik (ha TP-vel találkoztak), tehát ha nem releváns eredményeket kap az induláskor, a pontosság majdnem 0 marad, ami a MAP-ját 0-ra teszi, ahol mintha az összes pontos eredményt megtalálná a kezdő (ami alapvetően nulla FP-t jelent), tehát a pontosság közel 1, MAP-ot eredményez közel 1-hez, amely a rendszeredet a legjobbnak igazolja
Ez a cikk részletes leírást ad példákkal