Ich werde von allen probabilistischen Klassifikatoren leicht verwirrt.
-
Die Bayes Der optimale Klassifikator wird als $ max (p (x | C) p (C)) $ angegeben. Wenn alle Klassen zuvor gleich sind, reduziert er sich auf $ max (p (x | C)) $
-
Das Wahrscheinlichkeitsverhältnis wird als $ \ frac {p (x | C1)} {p (x | C2)} $
angegeben, wenn ich nur Haben Sie 2 Klassen mit gleichem Prior? Was ist dann der Unterschied zwischen dem optimalen Bayes-Klassifikator und dem Wahrscheinlichkeitsverhältnis? Werden mir nicht beide dieselbe Klasse wie die Ausgabe zurückgeben?
Kommentare
- Es handelt sich um völlig unterschiedliche Dinge. Können Sie also klarstellen, warum Sie sie in Betracht ziehen? " im Wesentlichen das gleiche "?
- Entschuldigung, ich habe meine Frage bearbeitet. Ich hoffe, meine Frage ist jetzt klarer.
- Was Sie beschreiben, scheint ein Bayes-Klassifikator zu sein, kein Bayes optimaler Klassifikator.
Antwort
Sie sind nicht gleich, aber in Ihrem Fall könnten sie für denselben Zweck verwendet werden.
Optimaler Bayes-Klassifikator ist
$$ \ DeclareMathOperator * {\ argmax} {arg \, max} \ argmax_ {c \ in C} p (c | X. ) $$
dh nehmen Sie unter allen Hypothesen das $ c $, das die hintere Wahrscheinlichkeit maximiert. Sie verwenden den Bayes-Satz
$$ \ underbrace {p (c | X)} _ {\ text {posterior}} \ propto \ underbrace {p (X | c)} _ {\ text {Wahrscheinlichkeit} } \ underbrace {p (c)} _ {\ text {prior}} $$
aber da einheitlicher Prior verwendet wird (alle $ c $ sind gleich wahrscheinlich, also $ p (c) \ propto 1 $ ) es reduziert sich auf die Wahrscheinlichkeit -Funktion
$$ p (c | X) \ propto p (X | c) $$
Der Unterschied zwischen der Maximierung der Wahrscheinlichkeitsfunktion und dem Vergleich der Wahrscheinlichkeitsverhältnisse besteht darin, dass Sie mit dem Wahrscheinlichkeitsverhältnis nur zwei Wahrscheinlichkeiten vergleichen, während Sie bei der Maximierung der Wahrscheinlichkeit mehrere Hypothesen berücksichtigen können. Wenn Sie also nur zwei Hypothesen haben, tun diese im Wesentlichen dasselbe . Stellen Sie sich jedoch vor, Sie hätten mehrere Klassen. In diesem Fall wäre es ein wirklich ineffizienter Weg, jede Klasse paarweise mit allen anderen zu vergleichen.
Beachten Sie, dass das Wahrscheinlichkeitsverhältnis auch anderen Zwecken dient als der Ermittlung, welches der beiden Modelle eine größere Wahrscheinlichkeit aufweist. Das Wahrscheinlichkeitsverhältnis kann für Hypothesentests verwendet werden und gibt an, wie viel mehr (oder weniger) wahrscheinlich ist, dass eines der Modelle mit dem anderen verglichen wird. Darüber hinaus können Sie dasselbe tun, wenn Sie die posterioren Verteilungen vergleichen, indem Sie den Bayes-Faktor auf ähnliche Weise verwenden.
Kommentare
- Danke! Ich hatte vor, meine Frage zu bearbeiten, um nach der Maximum-Likelihood-Schätzung zu fragen, da sie dem Bayes-Klassifikator ähnelt! Vielen Dank, dass Sie meine Zweifel ausgeräumt haben!