Sono un po confuso da tutti i classificatori probabilistici.
-
I bayes il classificatore ottimale è dato come $ max (p (x | C) p (C)) $ e se tutte le classi hanno precedenti uguali, si riduce a $ max (p (x | C)) $
-
Il rapporto di verosimiglianza è dato come $ \ frac {p (x | C1)} {p (x | C2)} $
Se solo avere 2 classi con uguale prima allora qual è la differenza tra il classificatore ottimale bayes e il rapporto di verosimiglianza? Non mi restituiscono entrambi la stessa classe delloutput?
Commenti
- Sono cose completamente diverse, quindi potresti chiarire cosa le fa considerare " essenzialmente la stessa "?
- Spiacente, ho modificato la mia domanda. Spero che la mia domanda sia più chiara ora.
- Ciò che descrivi sembra essere un classificatore di Bayes, non un classificatore ottimale di Bayes.
Risposta
Non sono la stessa cosa, ma nel tuo caso potrebbero essere utilizzate per lo stesso scopo.
Il classificatore Bayes ottimale è
$$ \ DeclareMathOperator * {\ argmax} {arg \, max} \ argmax_ {c \ in C} p (c | X ) $$
cioè, tra tutte le ipotesi, prendi $ c $ che massimizza la probabilità a posteriori. Usi il teorema di Bayes
$$ \ underbrace {p (c | X)} _ {\ text {posterior}} \ propto \ underbrace {p (X | c)} _ {\ text {verosimiglianza} } \ underbrace {p (c)} _ {\ text {prior}} $$
ma poiché si usa uniform prior (tutti $ c $ sono ugualmente probabili, quindi $ p (c) \ propto 1 $ ) si riduce alla funzione verosimiglianza
$$ p (c | X) \ propto p (X | c) $$
La differenza tra massimizzare la funzione di verosimiglianza e confrontare i rapporti di verosimiglianza è che con il rapporto di verosimiglianza si confrontano solo due verosimiglianze, mentre nel massimizzare la probabilità si possono considerare ipotesi multiple. Quindi, se hai solo due ipotesi, allora faranno essenzialmente la stessa cosa . Tuttavia immagina di avere più classi, in tal caso confrontare ciascuna di esse con tutte le altre coppia per coppia sarebbe un modo davvero inefficiente.
Si noti che il rapporto di verosimiglianza ha anche uno scopo diverso da quello di trovare quale dei due modelli ha maggiore probabilità. Il rapporto di verosimiglianza può essere utilizzato per il test di ipotesi e ti dice quanto è più probabile (o meno) uno dei modelli confrontati con laltro. Inoltre, puoi fare lo stesso quando confronti le distribuzioni a posteriori utilizzando il fattore di Bayes in modo simile.
Commenti
- Grazie! Avevo intenzione di modificare la mia domanda per chiedere la stima della massima verosimiglianza poiché è simile al classificatore bayes! Grazie per aver chiarito il mio dubbio!