Estou ficando um pouco confuso com todos os classificadores probabilísticos.
-
Os bayes o classificador ótimo é dado como $ max (p (x | C) p (C)) $ e se todas as classes têm igual anterior, ele se reduz a $ max (p (x | C)) $
-
A razão de verossimilhança é dada como $ \ frac {p (x | C1)} {p (x | C2)} $
Se eu apenas tem 2 classes com igual anterior então qual é a diferença entre o classificador ótimo de bayes e a razão de verossimilhança? Os dois não vão me retornar a mesma classe que a saída?
Comentários
- Eles são coisas totalmente diferentes, então você poderia esclarecer o que o faz considerá-los " essencialmente o mesmo "?
- Desculpe, eu editei minha pergunta. Espero que minha pergunta esteja mais clara agora.
- O que você descreve parece ser um classificador Bayes, não um classificador ótimo de Bayes.
Resposta
Eles não são os mesmos, mas no seu caso poderiam ser usados para o mesmo propósito.
$$ \ DeclareMathOperator * {\ argmax} {arg \, max} \ argmax_ {c \ in C} p (c | X ) $$
ie, entre todas as hipóteses, pegue o $ c $ que maximiza a probabilidade posterior. Você usa o teorema de Bayes
$$ \ underbrace {p (c | X)} _ {\ text {posterior}} \ propto \ underbrace {p (X | c)} _ {\ text {probabilidade} } \ underbrace {p (c)} _ {\ text {prior}} $$
mas como usar a priori uniforme (todos $ c $ são igualmente prováveis, então $ p (c) \ propto 1 $ ) se reduz à função de probabilidade
$$ p (c | X) \ propto p (X | c) $$
A diferença entre maximizar a função de verossimilhança e comparar as proporções de verossimilhança é que, com a razão de verossimilhança, você compara apenas duas verossimilhanças, enquanto ao maximizar a probabilidade pode-se considerar várias hipóteses. Portanto, se você tiver apenas duas hipóteses, elas farão essencialmente a mesma coisa . No entanto, imagine que você tivesse várias classes, nesse caso, comparar cada uma delas com todas as outras par a par seria um caminho realmente ineficiente.
Observe que a razão de verossimilhança também serve a outro propósito do que descobrir qual dos dois modelos tem maior probabilidade. A razão de verossimilhança pode ser usada para teste de hipótese e diz a você o quanto mais (ou menos) provável é um dos modelos em comparação ao outro. Além disso, você pode fazer o mesmo ao comparar as distribuições posteriores usando o fator de Bayes de maneira semelhante.
Comentários
- Obrigado! Eu estava planejando editar minha pergunta para perguntar sobre a estimativa de máxima verossimilhança, uma vez que se parece com o classificador de bayes! Obrigado por esclarecer minha dúvida!