Jaký je rozdíl mezi logistickou regresí a bayesiánskou logistickou regresí?

Ostatní odpovědi jsou dobré. Abychom však vyjasnili intuici a poskytli několik dalších podrobností:

• V logistické regrese maximalizujete pravděpodobnostní funkci $ p (y | \ beta_ {0}, \ beta_ {1}, x) $ (najít MLE). To znamená, že zjistíte váhy $ \ beta_ {0}, \ beta_ {1} $, které maximalizují pravděpodobnost vašich pozorovaných údajů. Neexistuje žádné uzavřené řešení řešení MLE, takže musíte použít iterační metody. Získáte tak jediný bodový odhad našich vah.
• V bayesovské logistické regresi začnete s počáteční vírou o distribuci $ p (\ beta_ {0}, \ beta_ {1}) $. Poté $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. To znamená, že zadní část, což je naše aktualizované přesvědčení o váhách poskytnutých důkazů, je úměrná naší předchozí (počáteční přesvědčení) krát pravděpodobnosti. Uzavřenou formu nemůžeme vyhodnotit posteriorně, ale můžeme ji aproximovat vzorkovacími nebo variačními metodami. To nám dá rozdělení podle vah. Například pokud použijeme normální aproximaci pro $ \ beta_ {0} $ i $ \ beta_ {1} $ pomocí variačních metod, pak získáme průměr a rozptyl pro $ \ beta_ {0} $ a jeden také pro $ \ beta_ {1} $.

Pro další podrobnosti o obou technikách jsou tyto písařské poznámky k přednášce vynikající http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

Komentáře

• Odhad maximální pravděpodobnosti poskytuje bodový odhad parametrů, ale lze také a měl by poskytnout odhad nejistoty pomocí normální aproximace odůvodněná velkými vlastnostmi vzorku odhadů maximální pravděpodobnosti. Bayesovské logistické regrese začínají předchozími informacemi ne vírou. Pokud nemáte žádné předchozí informace, měli byste použít neinformativní předchozí. Gelman a kol. doporučit výchozí logistickou regresi, kterou Cauchy předchází s měřítkem = 0,1 pro úsečné výrazy a měřítkem = 0,4 pro úsečné výrazy.
• Děkuji. Můžete objasnit význam předchozích informací?
• Je to ' většinou otázkou sémantiky. Předchozí víra a předchozí informace jsou dvě různé fráze v angličtině pro stejný koncept: rozdělení pravděpodobnosti parametrů, které si vezmete do modelu. Zdůrazňuji pojem informace přes víru, protože pro ni byste opravdu měli mít nějaké jiné zdůvodnění (existující literatura, odborný posudek, pilotní studie nebo dokonce empirický odhad) jiné než vaše vlastní víra.
• Pokud odkaz nefunguje ' t work: web.archive.org/web/20150409022746/http://…

Předpokládejme, že máte sadu binárních pozorování $ Y_i $ za $ i = 1, \ ldots, n $ a pro každé pozorování přidružená vysvětlující proměnná $ X_i $. Logistická regrese předpokládá $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i. $$ Pokud získáváte bodové odhady parametrů pomocí maximální pravděpodobnosti, stačí použít výše uvedené předpoklady. Pokud však získáváte odhady parametrů pomocí Bayesovského přístupu, musíte definovat předchozí pro $ \ beta_0 $ a $ \ beta_1 $, nazvat to $ p (\ beta_0, \ beta_1) $. Toto předchozí spolu s výše uvedenými předpoklady logistické regrese je Bayesiánská logistická regrese.

Netvrdím, že jsem odborníkem na logistickou regresi. Ale domnívám se, že to jde asi takto – předpokládejme $ Y $ je binární náhodná proměnná, která nabývá buď hodnoty $ 0 $ nebo $ 1 $. Definujte $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$ kde $ X $ je nezávislá proměnná (pro jednoduchost předpokládám pouze jeden prediktor). Pak logistická regrese předpokládá tvar $$ \ ln \ left (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$, kde $ \ epsilon $ je nezávislé na $ X $ a má průměrnou hodnotu $ 0 $ a $ \ beta_i $ jsou odhadovány s maximální pravděpodobností. S Bayesovou logistickou regresí si představuji, že používáte něco jako $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ vpravo)} {\ displaystyle \ suma \ limity_ {j} \ mathbb {P} \ doleva (X = x \ střední Y = j \ pravá) \ mathbb {P} \ levá (Y = j \ pravá)} $$ a přiřaďte něco pro distribuci $ X \ mid Y = j $ a předchozí distribuci za $ Y $. To je podle mého omezeného porozumění základem Lineární diskriminační analýzy.