Mi a különbség a logisztikai regresszió és a bayesi regresszió között?

A többi válasz jó. Az intuíció tisztázása, valamint további részletek megadása érdekében:

• A logisztikai regresszióban maximalizálja a $ p (y | \ beta_ {0}, \ beta_ valószínűségi függvényt {1}, x) $ (MLE keresése). Vagyis megtalálja azokat a $ \ beta_ {0}, \ beta_ {1} $ súlyokat, amelyek maximalizálják a megfigyelt adatok valószínűségét. Az MLE-nek nincs zárt formájú megoldása, ezért iteratív módszereket kell használnia. Ez egypontos becslést ad a súlyainkról.
• Bayes-féle logisztikai regresszióban a $ p (\ beta_ {0}, \ beta_ {1}) $ eloszlásának kezdeti meggyőződésével indul. Ezután $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. Vagyis a hátsó rész, amely a bizonyított súlyokkal kapcsolatos aktuális hitünk, arányos a valószínűség korábbi (kezdeti meggyőződésünk) és a valószínűségünk szorzatával. A zárt űrlapot nem tudjuk értékelni, de mintavételezéssel vagy variációs módszerekkel közelíthetjük meg. Ez eloszlást ad a súlyokra. Például, ha normál közelítést használunk mind a $ \ beta_ {0} $, mind a $ \ esetén beta_ {1} $ variációs módszerekkel, akkor átlagot és szórást kapunk $ \ beta_ {0} $ -ra, egyet pedig $ \ beta_ {1} $ -ra.

Mindkét technika részletesebb ismertetéséhez az előadás ezen írói jegyzetei kiválóak http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

Megjegyzések

• A maximális valószínűség-becslés a paraméterek pontbecslését szolgáltatja, de és a bizonytalanság becslését is meg kell adni a normál-közelítés, amelyet a maximális valószínűség-becslők nagy mintatulajdonságai indokolnak. A Bayes-i logisztikai regressziók előzetes információk és nem meggyőződéssel kezdődnek. Ha nincsenek előzetes információi, akkor használjon nem informatív előzményeket. Gelman és mtsai. az alapértelmezett logisztikai regressziót javasolja a Cauchy priors skála = 0,1 az elfogott kifejezésekhez és a skála = 0,4 a lejtési kifejezésekhez.
• Köszönöm. Tudja tisztázni az előzetes információk jelentését?
• ' leginkább szemantikai kérdés. Az előzetes meggyőződés és az előzetes információk ugyanazon koncepció két különböző angol nyelvű kifejezése: a modellbe magával vitt paraméterek valószínűség-eloszlása. Hangsúlyozom az információ fogalmát a meggyőződés helyett, mert valóban meg kell adnia valamilyen indokolást (meglévő szakirodalom, szakértői vélemény, kísérleti tanulmány vagy akár empirikus becslés), nem csak a saját hitén. ' t működik: web.archive.org/web/20150409022746/http://…

Tegyük fel, hogy van egy sor bináris megfigyelése $ Y_i $ for $ i = 1, \ ldots, n $ és minden megfigyeléshez társított magyarázó változó $ X_i $. A logisztikai regresszió $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i feltételezést feltételezi. $$ Ha a paraméterek maximális valószínűséggel pontbecsléseket szerez, akkor csak a fenti feltételezéseket használja. De ha a paraméterek becsléseit Bayes-féle megközelítéssel szerezzük be, akkor meg kell adnunk a $ \ beta_0 $ és $ \ beta_1 $ előtagot, hívjuk $ p (\ beta_0, \ beta_1) $ -nak. Ez a prior, a fenti logisztikai regresszió feltételezésekkel együtt, Bayes-féle logisztikai regresszió.

Nem állítom, hogy a logisztikai regresszió szakértője lennék. De azt képzelem, hogy ez így megy – tegyük fel $ Y $ egy bináris véletlen változó, amely vagy $ 0 $, vagy $ 1 $ értéket vesz fel. Definiáljon $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$ ahol $ X $ a független változó (csak egy előrejelzőt feltételezek az egyszerűség kedvéért). Ezután a logisztikai regresszió $$ \ ln \ left alakot vesz fel (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$, ahol $ \ epsilon $ független $ X $ -tól és átlagosan $ 0 $, a $ \ beta_i $ pedig a legnagyobb valószínűséggel becsülik meg. Bayes-i logisztikai regresszióval azt képzelem, hogy valami olyat használ, mint $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ jobbra)} {\ displaystyle \ összeg \ korlátok_ {j} \ mathbb {P} \ balra (X = x \ közepe Y = j \ jobbra) \ mathbb {P} \ balra (Y = j \ jobbra)} $$ és rendelj valamit az $ X \ mid Y = j $ és egy korábbi elosztás disztribúciójához $ Y $ -hoz. Korlátozott megértésem alapján ez a Linear Discriminant Analysis alapja.