Jeg blir litt forvirret av alle de sannsynlige klassifikatorene.
-
Bayes optimal klassifikator er gitt som $ max (p (x | C) p (C)) $, og hvis alle klasser har like tidligere, reduseres det til $ max (p (x | C)) $
-
Sannsynlighetsforholdet er gitt som $ \ frac {p (x | C1)} {p (x | C2)} $
Hvis jeg bare har 2 klasser med like prior, hva er forskjellen mellom den optimale klassifisereren og sannsynlighetsforholdet? Vil ikke begge gi meg samme klasse som utdataene?
Kommentarer
- De er helt forskjellige ting, så kan du avklare hva som får deg til å vurdere dem " i det vesentlige den samme "?
- Beklager at jeg har redigert spørsmålet mitt. Jeg håper spørsmålet mitt er tydeligere nå.
- Det du beskriver ser ut til å være en Bayes-klassifikator, ikke en Bayes optimal klassifisering.
Svar
De er ikke de samme, men i ditt tilfelle kan de brukes til samme formål.
Optimal Bayes-klassifisering er
$$ \ DeclareMathOperator * {\ argmax} {arg \, max} \ argmax_ {c \ i C} p (c | X ) $$
dvs. blant alle hypotesene, ta $ c $ som maksimerer den bakre sannsynligheten. Du bruker Bayes-setning
$$ \ underbrace {p (c | X)} _ {\ text {posterior}} \ propto \ underbrace {p (X | c)} _ {\ text {sannsynlighet} } \ underbrace {p (c)} _ {\ text {prior}} $$
men siden du bruker uniform prior (alle $ c $ er like sannsynlige, så $ p (c) \ propto 1 $ ) reduseres til sannsynlighet -funksjonen
$$ p (c | X) \ propto p (X | c) $$
Forskjellen mellom å maksimere sannsynlighetsfunksjonen og sammenligne sannsynlighetsforholdene, er at du med sannsynlighetsforhold bare sammenligner to sannsynligheter, mens du ved å maksimere sannsynligheten kan vurdere flere hypoteser. Så hvis du bare har to hypoteser, vil de i det vesentlige gjøre det samme . Imidlertid forestill deg at du hadde flere klasser. I slike tilfeller vil det være en veldig ineffektiv vei å sammenligne hver av dem med alle de andre par for par.
Legg merke til at sannsynlighetsforholdet også tjener andre formål enn å finne hvilken av de to modellene som har større sannsynlighet. Sannsynlighetsforholdet kan brukes til hypotesetesting , og det forteller deg hvor mye mer (eller mindre) sannsynlig er at en av modellene sammenlignes med den andre. Videre kan du gjøre det samme når du sammenligner de bakre fordelingen ved å bruke Bayes-faktor på lignende måte.
Kommentarer
- Takk! Jeg planla å redigere spørsmålet mitt for å spørre om maksimal sannsynlighetsestimering siden det ser ut som Bayes-klassifisereren! Takk for at du fjernet tvilen min!