Kiedy precyzja jest ważniejsza od przypomnienia?

• W przypadku rzadkich danych dotyczących raka modelowanie, wszystko, co nie uwzględnia wyników fałszywie negatywnych, jest przestępstwem. Przypomnij sobie to lepsza miara niż precyzja.
• W przypadku rekomendacji YouTube fałszywie negatywy są mniej istotne. Precyzja jest tutaj lepsza.

Komentarze

• @fate h Główna różnica to FP vs FN. Zalecenie YouTube nie ' nie kładzie nacisku na FN, ale decyzje kliniczne szpitala muszą.

Mogę przedstawić mój prawdziwy przypadek, kiedy przypomnienie jest ważniejsze:

Mamy tysiące bezpłatnych klientów rejestrujących się w naszej witrynie każdego tygodnia. Zespół call center chce zadzwonić do nich wszystkich, ale jest to niemożliwe, więc proszą mnie o wybranie tych, którzy mają duże szanse na kupno (z wysoką temperaturą, tak się do nich odnosimy). Nie zależy nam na dzwonieniu do faceta, który nie zamierza kupować (więc precyzja nie jest ważna), ale dla nas bardzo ważne jest, aby wszystkie te z wysoką temperaturą były zawsze w moim wyborze, więc nie idą bez zakupu. Oznacza to, że mój model musi mieć wysoką rozpoznawalność , bez względu na to, czy precyzja idzie do diabła.

Mam nadzieję, że to pomoże! Miguel.

Chociaż w niektórych sytuacjach przypominanie może być ważniejsze niż precyzja (lub odwrotnie), potrzebujesz obu, aby uzyskać bardziej interpretowalną ocenę.

Na przykład, jak zauważył @SmallChess, w środowisku medycznym fałszywie negatywny wynik jest zwykle bardziej katastrofalny niż fałszywie dodatni dla wstępnych diagnoz. Dlatego można rozważyć przypomnienie jako ważniejszy pomiar. Możesz jednak mieć 100% zapamiętywania, ale mieć bezużyteczny model: jeśli model zawsze generuje pozytywne prognozy, miałby 100% zapamiętania, ale byłby całkowicie pozbawiony informacji.

Dlatego patrzymy na wiele wskaźników:

• precyzyjna krzywa przypominania
• AUROC
• a czasami metryki, takie jak wynik F

To, co jest ważniejsze, zależy po prostu od kosztów każdego błędu.

Precyzja zwykle wiąże się z kosztami bezpośrednimi; im więcej masz fałszywych alarmów, tym większy masz koszt za prawdziwy wynik pozytywny. Jeśli koszty są niskie, precyzja nie ma większego znaczenia. Na przykład, jeśli masz 1 mln adresów e-mail, a wysłanie wiadomości e-mail do wszystkich będzie kosztować 10 USD, prawdopodobnie nie warto poświęcić czasu na próbę zidentyfikować osoby, które najprawdopodobniej odpowiedzą, a raczej po prostu spamować je wszystkie.

Z drugiej strony, z drugiej strony, zwykle wiąże się to z kosztami alternatywnymi; rezygnujesz z możliwości za każdym razem, gdy masz fałszywy negatyw. Pamięć jest więc najmniej ważna, gdy krańcowa wartość dodatkowej prawidłowej identyfikacji jest niewielka, np. możliwości jest wiele, niewiele się między nimi różni i tylko z ograniczonej liczby można skorzystać. Załóżmy na przykład, że chcesz kupić jabłko. W sklepie jest 100 jabłek, a 10 z nich jest złych. Jeśli masz metodę rozróżniania złych jabłek, która pomija 80% dobrych jabłek, zidentyfikujesz około 18 dobrych jabłek. Zwykle przypomnienie sobie 20% byłoby okropne, ale jeśli chcesz tylko 5 jabłek, to pominięcie pozostałych 72 jabłek nie ma większego znaczenia.

Więc pamiętaj jest najważniejsze, gdy:

-Liczba możliwości jest niewielka (gdyby było tylko 10 dobrych jabłek, byłoby mało prawdopodobne, abyś znalazł 5 dobrych ze wskaźnikiem przypomnienia wynoszącym tylko 20%)
-Istnieją znaczne różnice między możliwościami (jeśli niektóre jabłka są lepsze od innych, więc wskaźnik przypominania o wartości 20% wystarczy, aby uzyskać 5 dobrych jabłek, ale niekoniecznie będą to najlepsze jabłka)
LUB
– krańcowe korzyści z możliwości pozostają wysokie, nawet w przypadku dużej liczby możliwości. Na przykład, podczas gdy większość kupujących nie odniesie większych korzyści z ponad 18 dobrych jabłek, sklep chciałby mieć więcej niż 18 jabłek do sprzedaży.

W ten sposób precyzja być ważniejsze niż przypominanie sobie, kiedy koszt działania jest wysoki, ale koszt braku działania jest niski.Zauważ, że są to koszty działania / niedziałania na kandydata, a nie „koszt podjęcia jakiegokolwiek działania” w porównaniu z „kosztem braku działania”. W przykładzie jabłek jest to koszt zakupu / nie kupowania konkretnego jabłka, a nie koszt zakupu niektórych jabłek w porównaniu z kosztem braku kupowania jabłek; koszt nie kupowania konkretnego jabłka jest niski, ponieważ jest ich dużo inne jabłka. Ponieważ koszt zakupu złego jabłka jest wysoki, ale koszt pominięcia konkretnego dobrego jabłka jest niski, w tym przykładzie ważniejsza jest precyzja. Innym przykładem może być zatrudnianie, gdy jest wielu podobnych kandydatów.

Przypomnienie jest ważniejsze niż precyzja, gdy koszt działania jest niski, ale koszt alternatywny rezygnacji z kandydata jest wysoki. Oto przykład spamu, który podałem wcześniej (koszt pominięcia adresu e-mail nie jest wysoki, ale koszt wysłania wiadomości e-mail do kogoś, kto nie odpowiada, jest jeszcze niższy), a innym przykładem może być identyfikacja kandydaci na szczepionkę przeciw grypie: daj szczepionkę komuś, kto jej nie potrzebuje, a to kosztuje kilka dolarów, nie dawaj jej komuś, kto jej potrzebuje, a mogą umrzeć. Z tego powodu plany opieki zdrowotnej zazwyczaj oferuje szczepionkę przeciw grypie każdemu, całkowicie pomijając precyzję.

Akumulacja zawiera świetną odpowiedź na pytanie, w jaki sposób można znaleźć więcej przykładów wyjaśniających znaczenie precyzji w porównaniu z pamięcią i odwrotnie.

Większość pozostałych odpowiedzi stanowi przekonujące argumenty za ważnością pamięci, więc pomyślałem, że podam przykład wagi precyzji. To jest całkowicie hipotetyczny przykład, ale potwierdza to.

Powiedzmy, że model uczenia maszynowego jest tworzony w celu przewidywania, czy określony dzień jest dobry na wystrzelenie satelitów, czy nie, na podstawie pogody.

• Jeśli model przypadkowo przewiduje, że dobry dzień na wystrzelenie satelitów jest zły ( fałszywie ujemny ), tracimy szansę na uruchomienie. To nie jest taka wielka sprawa.

• Jednak jeśli model przewiduje, że jest dobry dzień, ale w rzeczywistości jest to zły dzień na wystrzelenie satelitów ( fałszywie dodatni ), wtedy satelity mogą zostać zniszczone, a koszt szkód sięgnie miliardów.

To jest przypadek, w którym precyzja jest ważniejsza niż zapamiętanie.

Ciężko mi było przypomnieć sobie różnicę między precyzją a pamięcią, dopóki nie wymyśliłem tego mnemonika dla siebie:

PREcision polega na testach PREgnancy, tak jak reCALL do CALL center.

W przypadku testu ciążowego producent testu musi mieć pewność, że wynik pozytywny oznacza, że kobieta jest naprawdę w ciąży. Ludzie mogą zareagować na pozytywny test, nagle biorąc ślub lub kupując dom (jeśli wielu konsumentów otrzymało fałszywie pozytywne wyniki i poniosło ogromne koszty bez powodu, producentowi testu brakowałoby klientów). Raz dostałam fałszywie ujemny wynik testu ciążowego, a to oznaczało, że minęło jeszcze kilka tygodni, zanim dowiedziałam się, że jestem w ciąży … prawda ostatecznie stała się oczywista. (Gra słów zamierzona.)

Teraz wyobraź sobie centrum telefoniczne dla roszczeń ubezpieczeniowych. Większość fałszywych roszczeń jest zgłaszana w poniedziałki, po tym, jak oszuści łączą się ze współpracownikami i opracowują zmyślone historie („powiedzmy, że samochód został skradziony”) w weekend. Jaka jest najlepsza rzecz, jaką może zrobić firma ubezpieczeniowa w poniedziałki? Może powinni stroić, by przypominać sobie lepiej niż precyzję. O wiele lepiej jest oznaczyć więcej roszczeń jako pozytywne (prawdopodobne oszustwo) do dalszego dochodzenia, niż przegapić niektóre oszustwa i wypłacić gotówkę, która nigdy nie powinna była zostać wypłacona. Fałszywy alarm (oznaczony do dodatkowej kontroli jako możliwe oszustwo, ale strata klienta była prawdziwa) może zostać prawdopodobnie wyjaśniona przez wyznaczenie doświadczonego regulatora, który może nalegać na raport policyjny, zażądać wideo z monitoringu budynku itp. Fałszywy negatyw (akceptacja fałszywe roszczenie oszusta i wypłata w gotówce) to czysta strata dla firmy ubezpieczeniowej i zachęca do większej liczby oszustw.

F1 jest świetny, ale zrozumienie, w jaki sposób test / prognoza zostanie wykorzystana, jest naprawdę ważne, ponieważ zawsze istnieje ryzyko pomyłki … chcesz wiedzieć, jakie będą tragiczne konsekwencje, jeśli się mylisz.

Wykrywanie spamu w e-mailach : to jeden z przykładów, w których Precyzja jest ważniejsze niż Przypomnij sobie .

Szybkie podsumowanie :

• Precyzja : To mówi, kiedy przewidujesz coś pozytywnego, ile razy było to rzeczywiście pozytywne.mając na uwadze, że

• Przypomnijmy : To mówi o rzeczywistych dodatnich danych, ile razy poprawnie przewidziałeś.

Jak wspomniano powyżej, w przypadku wykrycia spamu, należy być w porządku, jeśli wiadomość spamowa (przypadek pozytywny) pozostanie niewykryta i nie ” t przejdź do folderu spamu ale , jeśli wiadomość e-mail jest poprawna (negatywna), musi nie przechodź do folderu spamu. tj. Precyzja jest ważniejsza. (Jeśli model przewiduje coś pozytywnego (np. spam), lepiej jest to spam. w przeciwnym razie możesz przegapić ważne e-maile).

Mam nadzieję, że to wyjaśnia.

Kiedy mamy niezrównoważoną klasę i potrzebujemy wysokich prawdziwych pozytywów, dokładność jest preferowana, a nie przypominanie, ponieważ precyzja nie ma w swojej formule fałszywie ujemnej wartości, która może mieć wpływ.

Oto prosty przykład, który wziąłem z książki Aurelion Geron, „Praktyczne uczenie maszynowe ze Scikit-Learn i Tensorflow”. Wyobraź sobie, że chcemy mieć pewność, że nasz program do blokowania witryn internetowych dla naszego dziecka umożliwia wyświetlanie tylko „bezpiecznych” witryn internetowych.

W tym przypadku „bezpieczna” witryna internetowa jest pozytywną klasą. W tym przypadku chcemy, aby program blokujący miał absolutną pewność, że witryna jest bezpieczna, nawet jeśli przewiduje się, że niektóre bezpieczne witryny należą do klasy negatywnej lub niebezpiecznej i w konsekwencji są blokowane. Oznacza to, że chcemy wysokiej precyzji kosztem przypomnienia.

W przypadku bezpieczeństwa na lotniskach, gdzie ryzyko bezpieczeństwa jest klasą pozytywną, chcemy mieć pewność, że każde potencjalne zagrożenie bezpieczeństwa jest badane. W takim przypadku będziemy mieć wysokie wycofanie kosztem precyzji (zbadanych zostanie wiele toreb, w których nie ma żadnych zagrożeń).