Quando a precisão é mais importante do que o recall?

• Para dados raros de câncer modelagem, qualquer coisa que não leve em conta falsos negativos é crime. Lembre-se de é uma medida melhor do que a precisão.
• Para recomendações do YouTube, falsos negativos são menos preocupantes. Precisão é melhor aqui.

Comentários

• @fate h A principal diferença é FP vs FN. A recomendação do YouTube não ‘ não dê ênfase ao FN, mas as decisões clínicas do hospital devem.

Posso apresentar meu caso real quando o recall é mais importante:

Temos milhares de clientes gratuitos se registrando em nosso site todas as semanas. A equipe do call center quer ligar para todos, mas é impossível, então me pedem para selecionar aqueles com boas chances de ser comprador (com temperatura alta é como nos referimos). Não nos importamos em chamar um cara que não vai comprar (então precisão não é importante) mas para nós é muito importante que todos eles com temperatura alta estejam sempre na minha seleção, para que não fiquem sem comprar. Isso significa que meu modelo precisa ter um alto recall , não importa se a precisão vai para o inferno.

Espero que ajude! Miguel.

Embora em algumas situações a memória possa ser mais importante do que a precisão (ou vice-versa), você precisa de ambos para obter uma avaliação mais interpretável.

Por exemplo, conforme observado por @SmallChess, na comunidade médica , um falso negativo geralmente é mais desastroso do que um falso positivo para diagnósticos preliminares. Portanto, pode-se considerar que o recall é uma medida mais importante. No entanto, você poderia ter 100% de recall, mas ter um modelo inútil: se seu modelo sempre gerar uma previsão positiva, ele teria 100% de recall, mas seria completamente não informativo.

É por isso que analisamos várias métricas:

• curva de recuperação de precisão
• AUROC
• e às vezes métricas como a pontuação F

O que é mais importante simplesmente depende de quais são os custos de cada erro.

A precisão tende a envolver custos diretos; quanto mais falsos positivos você tiver, maior será o custo por verdadeiro positivo. Se seus custos são baixos, a precisão não importa tanto. Por exemplo, se você tem 1 milhão de endereços de e-mail e vai custar US $ 10 para enviar um e-mail para todos eles, provavelmente não vale a pena tentar identificar as pessoas com maior probabilidade de responder, em vez de apenas enviar spam para todas elas.

A lembrança, por outro lado, tende a envolver custos de oportunidade; você está abrindo mão de oportunidades toda vez que tem um falso negativo. Portanto, a lembrança é menos importante quando o valor marginal de identificação correta adicional é pequeno, por exemplo, existem várias oportunidades, há pouca diferença entre elas e apenas um número limitado pode ser perseguido. Por exemplo, suponha que você queira comprar uma maçã. Existem 100 maçãs na loja, e 10 delas são ruins. Se você tiver um método para distinguir maçãs podres que omite 80% das boas, você identificará cerca de 18 maçãs boas. Normalmente, um recall de 20% seria terrível, mas se você quer apenas 5 maçãs, perder as outras 72 maçãs não importa realmente.

Então, lembrar é mais importante quando:

-O número de oportunidades é pequeno (se houvesse apenas 10 maçãs boas, então seria improvável que você encontrasse 5 boas com uma taxa de recall de apenas 20%)
-Há diferenças significativas entre as oportunidades (se houver maçãs são melhores do que outras, então uma taxa de recall de 20% é suficiente para obter 5 maçãs boas, mas elas não serão necessariamente as melhores maçãs)
OU
-As o benefício marginal das oportunidades permanece alto, mesmo para um grande número de oportunidades. Por exemplo, embora a maioria dos compradores “não se beneficie muito com mais de 18 maçãs boas, a loja gostaria de ter mais de 18 maçãs para vender.

Assim, a precisão será ser mais importante do que lembrar quando o custo de agir é alto, mas o custo de não agir é baixo.Observe que estes são os custos de agir / não agir por candidato, não “custo de realizar qualquer ação” versus “custo de não realizar nenhuma ação”. No exemplo da maçã, é o custo de comprar / não comprar uma determinada maçã, não o custo de comprar algumas maçãs versus o custo de não comprar nenhuma maçã; o custo de não comprar uma determinada maçã é baixo porque há muitos outras maçãs. Como o custo de comprar uma maçã podre é alto, mas o custo de deixar passar uma maçã boa em particular é baixo, a precisão é mais importante nesse exemplo. Outro exemplo seria a contratação quando houver muitos candidatos semelhantes.

A lembrança é mais importante do que a precisão quando o custo de atuação é baixo, mas o custo de oportunidade de rejeitar um candidato é alto. Existe o exemplo de spam que dei anteriormente (o custo de perder um endereço de e-mail não é alto, mas o custo de enviar um e-mail para alguém que não responde é ainda menor), e outro exemplo seria a identificação candidatos para a vacina contra a gripe: dê a vacina contra a gripe para quem não precisa, e custa alguns dólares, não dê para quem precisa, e eles podem morrer. Por isso, planos de saúde geralmente oferece a vacina contra a gripe a todos, desconsiderando totalmente a precisão.

Acumulação tem uma ótima resposta sobre como você pode encontrar mais exemplos explicando a importância da precisão em relação à lembrança e vice-versa.

A maioria das outras respostas apresenta um caso convincente para a importância de recall, então pensei em dar um exemplo sobre a importância da precisão. Este é um exemplo completamente hipotético, mas é o que mostra.

Digamos que um modelo de aprendizado de máquina seja criado para prever se um determinado dia é um bom dia para o lançamento de satélites ou não com base no clima.

• Se o modelo acidentalmente predizer que um dia bom para lançar satélites é ruim ( falso negativo ), perdemos a chance de lançar. Isso não é grande coisa.

• No entanto, se o modelo prevê que é um dia bom, mas na verdade é um dia ruim para o lançamento dos satélites ( falso positivo ) então os satélites podem ser destruídos e o custo dos danos será na casa dos bilhões.

Este é um caso em que a precisão é mais importante do que o recall.

Tive dificuldade em lembrar a diferença entre precisão e recall, até que eu criei este mnemônico para mim mesmo:

A precisão é para os testes de gravidez, assim como o RECALL é para o centro de CHAMADAS.

Com um teste de gravidez, o fabricante do teste precisa ter certeza de que um resultado positivo significa que a mulher está realmente grávida. As pessoas podem reagir a um teste positivo casando-se repentinamente ou comprando uma casa (se muitos consumidores obtivessem resultados falsos positivos e sofressem altos custos sem motivo, o fabricante do teste não teria clientes). Eu fiz um teste de gravidez falso negativo uma vez, e isso apenas significava que demorou mais algumas semanas antes de descobrir que estava grávida … a verdade finalmente se tornou aparente. (Trocadilho intencional.)

Agora imagine uma central de atendimento para reclamações de seguros. A maioria das reclamações fraudulentas é feita por telefone às segundas-feiras, depois que os fraudadores se conectam com os colaboradores e elaboram suas histórias inventadas (“digamos que o carro foi roubado”) no fim de semana. Qual é a melhor coisa para uma seguradora nas segundas? Talvez eles devessem ajustar para favorecer o recall em vez da precisão. É muito melhor sinalizar mais reclamações como positivas (provável fraude) para uma investigação mais aprofundada do que perder parte da fraude e pagar em dinheiro que nunca deveria ter sido pago. Um falso positivo (sinalizado para análise adicional como possível fraude, mas a perda do cliente foi real) pode provavelmente ser esclarecido atribuindo-se um perito experiente, que pode insistir em um relatório policial, solicitar um vídeo de segurança do prédio, etc. a alegação falsa de um fraudador e o pagamento em dinheiro) é pura perda para a seguradora e incentiva mais fraudes.

F1 é ótimo, mas entender como o teste / previsão será usado é muito importante, porque sempre existe o risco de estar errado … você quer saber o quão terríveis serão as consequências em caso de erro.

Detecção de spam por e-mail : este é um dos exemplos em que Precisão é mais importante do que Recall .

Recapitulação rápida :

• Precisão : informa quando você prevê algo positivo, quantas vezes foram realmente positivos.enquanto,

• Recall : Isso revela dados positivos reais, quantas vezes você previu corretamente.

Tendo dito acima, no caso de detecção de e-mail de spam, deve-se ficar bem se um e-mail de spam (caso positivo) não for detectado e não ” ir para a pasta de spam mas , se um e-mail for bom (negativo), ele deve não vá para a pasta de spam. isto é, Precisão é mais importante. (Se o modelo predizer algo positivo (isto é, spam), é melhor que seja spam. senão, você pode perder e-mails importantes).

Espero que tenha esclarecido.

Quando temos uma classe desequilibrada e precisamos de altos verdadeiros positivos, a precisão é preferível à rechamada. porque a precisão não tem falso negativo em sua fórmula, o que pode impactar.

Aqui está um exemplo simples que peguei do livro de Aurelion Geron, Hands-on Machine Learning with Scikit-Learn e Tensorflow. Imagine que queremos ter certeza de que nosso bloqueador de site para nosso filho só permite que sites “seguros” sejam exibidos.

Nesse caso, um site “seguro” é a classe positiva. Aqui, queremos que o bloqueador tenha absoluta certeza de que o site é seguro, mesmo que alguns sites seguros sejam considerados parte da classe negativa ou insegura e, consequentemente, sejam bloqueados. Ou seja, queremos alta precisão em detrimento do recall.

No caso da segurança do aeroporto, onde um risco à segurança é a classe positiva, queremos ter certeza de que todos os riscos potenciais à segurança sejam investigados. Nesse caso, teremos um alto recall em detrimento da precisão (muitos sacos onde não há riscos de segurança serão investigados).