Jag blir lite förvirrad av alla probabilistiska klassificerare.
-
Bayes optimal klassificering ges som $ max (p (x | C) p (C)) $ och om alla klasser har lika tidigare minskar det till $ max (p (x | C)) $
-
Sannolikhetsförhållandet ges som $ \ frac {p (x | C1)} {p (x | C2)} $
Om jag bara har två klasser med lika tidigare, vad är då skillnaden mellan den optimala klassificeraren och sannolikhetsförhållandet? Kommer inte båda att ge mig samma klass som utdata?
Kommentarer
- De är helt olika saker, så kan du klargöra vad som får dig att överväga dem " i princip samma "?
- Tyvärr har jag redigerat min fråga. Jag hoppas att min fråga är tydligare nu.
- Vad du beskriver verkar vara en Bayes-klassificering, inte en Bayes optimal klassificering.
Svar
De är inte desamma, men i ditt fall kan de användas för samma ändamål.
Klassificering av Optimal Bayes är
$$ \ DeclareMathOperator * {\ argmax} {arg \, max} \ argmax_ {c \ i C} p (c | X ) $$
dvs bland alla hypoteser, ta $ c $ som maximerar den bakre sannolikheten. Du använder Bayes-satsen
$$ \ underbrace {p (c | X)} _ {\ text {posterior}} \ propto \ underbrace {p (X | c)} _ {\ text {sannolikhet} } \ underbrace {p (c)} _ {\ text {prior}} $$
men eftersom du använder enhetlig prior (alla $ c $ är lika troliga, så $ p (c) \ propto 1 $ ) minskar det till sannolikhet -funktionen
$$ p (c | X) \ propto p (X | c) $$
Skillnaden mellan att maximera sannolikhetsfunktionen och jämföra sannolikhetsförhållandena är att man med sannolikhetsförhållandet bara jämför två sannolikheter, medan man maximerar sannolikheten kan man överväga flera hypoteser. Så om du bara har två hypoteser kommer de att göra i stort sett samma sak . Föreställ dig dock att du hade flera klasser, i sådana fall skulle det vara ett riktigt ineffektivt sätt att jämföra var och en av dem med alla andra par för par.
Lägg märke till att sannolikhetsförhållandet också tjänar andra syften än att hitta vilken av de två modellerna som har större sannolikhet. Sannolikhetsförhållandet kan användas för hypotesprovning och det berättar hur mycket mer (eller mindre) troligt det är att en av modellerna jämförs med den andra. Dessutom kan du göra detsamma när du jämför de bakre fördelningarna med Bayes-faktor på liknande sätt.
Kommentarer
- Tack! Jag planerade att redigera min fråga för att ställa om maximal sannolikhetsuppskattning eftersom den ser ut som Bayes-klassificeringen! Tack för att du rensade mina tvivel!