Mitä eroa on logistisella regressiolla ja bayesilaisella regressiolla?

Muut vastaukset ovat hyviä. Intuition selventämiseksi ja eräiden yksityiskohtien antamiseksi:

• Logistisessa regressiossa maksimoi todennäköisyysfunktio $ p (y | \ beta_ {0}, \ beta_ {1}, x) $ (etsi MLE). Eli löydät painot $ \ beta_ {0}, \ beta_ {1} $, jotka maksimoivat havaittujen tietojen todennäköisyyden. MLE: lle ei ole suljettua lomakeratkaisua, joten sinun on käytettävä iteratiivisia menetelmiä. Tämä antaa sinulle yhden pisteen arvion painostamme.
• Bayesin logistisessa regressiossa aloitetaan alkuuskolla $ p (\ beta_ {0}, \ beta_ {1}) $. Sitten $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. Toisin sanoen takaosa, joka on päivitetty usko todisteiden painoihin, on verrannollinen aikaisempaan (alkuperäiseen uskomukseen) kertaa todennäköisyyteen. Emme voi arvioida suljetun muodon takaosaa, mutta voimme arvioida sitä otantamenetelmillä tai muunnelmilla. Tämä antaa meille jakauman painojen yli. Esimerkiksi, jos käytämme normaalia likiarvoa sekä $ \ beta_ {0} $: lle että $ \: lle. beta_ {1} $ muunnelmamenetelmillä, saamme keskiarvon ja varianssin myös $ \ beta_ {0} $: lle ja yhden myös $ \ beta_ {1} $: lle.

Lisätietoja molemmista tekniikoista ovat nämä luennon kirjeenviitteet erinomaiset http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

Kommentit

• Suurimman todennäköisyyden estimointi antaa piste-estimaatin parametreistä, mutta voidaan myös ja pitäisi arvioida epävarmuus käyttämällä normaaliarviointi perusteltuna suurimman todennäköisyyden estimaattoreiden suurilla otosominaisuuksilla. Bayesin logistiikka-regressiot alkavat aikaisemmasta tiedosta eikä uskomuksesta. Jos sinulla ei ole ennakkotietoja, sinun on käytettävä ei-informatiivista etukäteen. Gelman et ai. suosittele oletusarvoista logistista regressiota Cauchy priors, jonka asteikko = 0,1 sieppaustermeille ja asteikko = 0,4 kaltevuustermeille.
• Kiitos. Voitteko selventää ennakkotietojen merkitystä?
• Se ' on enimmäkseen semanttinen asia. Aikaisempi uskomus ja ennakkotiedot ovat kaksi erilaista englanninkielistä ilmausta samalle käsitteelle: malliin mukaasi otettavien parametrien todennäköisyysjakauma. Korostan termiä informaatio uskoa vastaan, koska sinulla on todella oltava sille jokin muu perustelu (olemassa oleva kirjallisuus, asiantuntijalausunto, pilottitutkimus tai jopa empiirinen arvio) kuin oma uskosi.
• Jos linkki ei ' t toimi: web.archive.org/web/20150409022746/http://…

Oletetaan, että sinulla on joukko binaarisia havaintoja $ Y_i $ varten $ i = 1, \ ldots, n $ ja jokaiselle havainnolle liittyvä selittävä muuttuja $ X_i $. Logistinen regressio olettaa $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i. $$ Jos haet parametrien piste-estimaatteja suurimman todennäköisyyden kautta, käytä vain yllä olevia oletuksia. Mutta jos hankit arvioita parametreista käyttämällä Bayesin lähestymistapaa, sinun on määritettävä priori arvoille $ \ beta_0 $ ja $ \ beta_1 $, kutsumme sitä nimellä $ p (\ beta_0, \ beta_1) $. Tämä ennakko yhdessä yllä olevien logistisen regressio-oletusten kanssa on Bayesin logistinen regressio.

En väitä olevani logistisen regressioasiantuntija. Mutta luulen, että se menee näin – oletetaan $ Y $ on binäärinen satunnaismuuttuja, joka saa arvon joko $ 0 $ tai $ 1 $. Määritä $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$ where $ X $ on riippumaton muuttuja (I ”m olettaen vain yhden ennustajan yksinkertaisuudelle). Sitten logistinen regressio olettaa muodon $$ \ ln \ left (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$, jossa $ \ epsilon $ on riippumaton arvosta $ X $ ja sen keskiarvo on 0 $, ja $ \ beta_i $ arvioidaan käyttämällä suurinta todennäköisyyttä. Bayesin logistisella regressiolla kuvittelen käyttävänne jotain esimerkiksi $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ oikea)} {\ displaystyle \ summa \ limits_ {j} \ mathbb {P} \ vasen (X = x \ keskellä Y = j \ oikea) \ mathbb {P} \ vasen (Y = j \ oikea)} $$ ja määritä jotain $ X \ mid Y = j $: n jakelulle ja edelliselle -jakelulle $ Y $: lle. Tämä on rajallisen ymmärrykseni mukaan mielestäni lineaarisen erotteluanalyysin perusta.