Estoy un poco confundido por todos los clasificadores probabilísticos.
-
Los bayes El clasificador óptimo se da como $ max (p (x | C) p (C)) $ y si todas las clases tienen iguales antes, se reduce a $ max (p (x | C)) $
-
La razón de probabilidad se da como $ \ frac {p (x | C1)} {p (x | C2)} $
Si solo tienen 2 clases con igual anterior, entonces, ¿cuál es la diferencia entre el clasificador óptimo de bayes y la razón de probabilidad? ¿No me devuelven ambos la misma clase que la salida?
Comentarios
- Son cosas totalmente diferentes, así que podrías aclarar qué te hace considerarlas " esencialmente el mismo "?
- Lo siento, he editado mi pregunta. Espero que mi pregunta sea más clara ahora.
- Lo que describe parece ser un clasificador de Bayes, no un clasificador de Bayes óptimo .
Respuesta
No son iguales, pero en su caso podrían usarse para el mismo propósito.
El clasificador óptimo de Bayes es
$$ \ DeclareMathOperator * {\ argmax} {arg \, max} \ argmax_ {c \ in C} p (c | X ) $$
es decir, entre todas las hipótesis, tome el $ c $ que maximiza la probabilidad posterior. Usas el teorema de Bayes
$$ \ underbrace {p (c | X)} _ {\ text {posterior}} \ propto \ underbrace {p (X | c)} _ {\ text {verosimilitud} } \ underbrace {p (c)} _ {\ text {prior}} $$
pero dado que se usa uniforme anterior (todos los $ c $ son igualmente probables, $ p (c) \ propto 1 $ ) se reduce a la función verosimilitud
$$ p (c | X) \ propto p (X | c) $$
La diferencia entre maximizar la función de verosimilitud y comparar las razones de verosimilitud es que con la razón de verosimilitud se comparan solo dos probabilidades, mientras que al maximizar la probabilidad se pueden considerar múltiples hipótesis. Entonces, si solo tiene dos hipótesis, entonces harán esencialmente lo mismo . Sin embargo, imagine que tiene varias clases, en tal caso, comparar cada una de ellas con todas las demás par por par sería una forma realmente ineficiente de hacerlo.
Tenga en cuenta que la razón de verosimilitud también sirve para otro propósito que no sea encontrar cuál de los dos modelos tiene mayor probabilidad. La razón de verosimilitud se puede utilizar para prueba de hipótesis y le indica cuánto más (o menos) probable es que uno de los modelos se compare con el otro. Además, puede hacer lo mismo al comparar las distribuciones posteriores utilizando el factor de Bayes de manera similar.
Comentarios
- ¡Gracias! ¡Estaba planeando editar mi pregunta para preguntar sobre la estimación de máxima verosimilitud, ya que se parece al clasificador de bayes! ¡Gracias por aclarar mi duda!