Ik raak een beetje in de war door alle probabilistische classificaties.
-
De bayes optimale classificator wordt gegeven als $ max (p (x | C) p (C)) $ en als alle klassen gelijk hebben, wordt het gereduceerd tot $ max (p (x | C)) $
-
De waarschijnlijkheidsratio wordt gegeven als $ \ frac {p (x | C1)} {p (x | C2)} $
Als ik maar heb 2 klassen met gelijke voorafgaande, wat is dan het verschil tussen de optimale classificator van Bayes en de waarschijnlijkheidsverhouding? Zullen ze me niet allebei dezelfde klasse teruggeven als de uitvoer?
Opmerkingen
- Het zijn totaal verschillende dingen, dus zou je kunnen verduidelijken waarom je ze beschouwt? " in wezen dezelfde "?
- Sorry, ik heb mijn vraag aangepast. Ik hoop dat mijn vraag nu duidelijker is.
- Wat je beschrijft, lijkt een Bayes-classificatie te zijn, geen Bayes optimale -classificatie.
Answer
Ze zijn niet hetzelfde, maar in jouw geval kunnen ze voor hetzelfde doel worden gebruikt.
Optimale Bayes-classificatie is
$$ \ DeclareMathOperator * {\ argmax} {arg \, max} \ argmax_ {c \ in C} p (c | X ) $$
dat wil zeggen, neem tussen alle hypothesen de $ c $ die de posterieure waarschijnlijkheid maximaliseert. U gebruikt de stelling van Bayes
$$ \ underbrace {p (c | X)} _ {\ text {posterior}} \ propto \ underbrace {p (X | c)} _ {\ text {likelihood} } \ underbrace {p (c)} _ {\ text {prior}} $$
maar sinds het gebruik van uniform prior (alle $ c $ zijn even waarschijnlijk, dus $ p (c) \ propto 1 $ ) het reduceert tot de waarschijnlijkheid functie
$$ p (c | X) \ propto p (X | c) $$
Het verschil tussen het maximaliseren van de waarschijnlijkheidsfunctie en het vergelijken van de waarschijnlijkheidsratios, is dat je met de waarschijnlijkheidsratio slechts twee waarschijnlijkheden vergelijkt, terwijl je bij het maximaliseren van de waarschijnlijkheid meerdere hypothesen in overweging kunt nemen. Dus als je maar twee hypothesen hebt, dan zullen ze in wezen hetzelfde doen . Stel je echter voor dat je meerdere klassen had, in dat geval zou het echt inefficiënt zijn om ze met alle andere twee voor twee te vergelijken.
Merk op dat de waarschijnlijkheidsratio ook een ander doel dient dan het vinden van welk van de twee modellen de grootste waarschijnlijkheid heeft. De waarschijnlijkheidsratio kan worden gebruikt voor hypothesetests en het vertelt u hoeveel meer (of minder) waarschijnlijk is als een van de modellen zich verhoudt tot het andere. Bovendien kunt u hetzelfde doen bij het vergelijken van de posterieure distributies door Bayes-factor op vergelijkbare wijze te gebruiken.
Opmerkingen
- Bedankt! Ik was van plan mijn vraag te wijzigen om te vragen naar de schatting van de maximale waarschijnlijkheid, aangezien deze lijkt op de bayes-classificatie! Bedankt voor het wegnemen van mijn twijfel!