Care este diferența dintre regresia logistică și regresia logistică bayesiană?

Celelalte răspunsuri sunt bune. Cu toate acestea, pentru a clarifica intuiția, precum și pentru a oferi câteva detalii suplimentare:

• În regresia logistică, maximizați funcția de probabilitate $ p (y | \ beta_ {0}, \ beta_ {1}, x) $ (găsiți MLE). Adică, găsiți greutățile $ \ beta_ {0}, \ beta_ {1} $ care maximizează cât de probabile sunt datele observate. Nu există o soluție de formă închisă la MLE, deci trebuie să utilizați metode iterative. Acest lucru vă oferă o estimare punctuală a greutăților noastre.
• În regresia logistică bayesiană, începeți cu o credință inițială despre distribuția $ p (\ beta_ {0}, \ beta_ {1}) $. Apoi $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. Adică, posteriorul, care este credința noastră actualizată despre greutățile date dovezi, este proporțional cu cel anterior (credința inițială) de ori mai mare decât probabilitatea. Nu putem evalua forma închisă posterioară, dar o putem aproxima prin eșantionare sau prin metode variaționale. Aceasta ne oferă o distribuție peste greutăți. De exemplu, dacă folosim o aproximare normală atât pentru $ \ beta_ {0} $, cât și $ \ beta_ {1} $ folosind metode variaționale, apoi vom obține o medie și o varianță pentru $ \ beta_ {0} $ și una pentru $ \ beta_ {1} $, de asemenea.

Pentru detalii suplimentare despre ambele tehnici, aceste note de scrib ale unei prelegeri sunt excelente http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

Comentarii

• Estimarea maximă a probabilității oferă o estimare punctuală a parametrilor, dar se poate și ar trebui să ofere o estimare a incertitudinii utilizând aproximare normală justificată de proprietățile eșantionului mare ale estimatorilor de maximă probabilitate. Regresiile logistice bayesiene încep cu informații anterioare și nu cu credință. Dacă nu aveți informații anterioare, ar trebui să utilizați un prior non-informativ. Gelman și colab. recomandă regresia logistică implicită Cauchy priors cu scala = 0,1 pentru termenii de interceptare și scara = 0,4 pentru termenii de pantă.
• Vă mulțumim. Puteți clarifica semnificația informațiilor anterioare?
• Este ' o problemă de semantică în principal. Credința anterioară și informațiile anterioare sunt două fraze diferite în limba engleză pentru același concept: distribuția probabilității parametrilor pe care îi luați în model. Subliniez termenul de informație în locul credinței, deoarece într-adevăr ar trebui să aveți o justificare pentru aceasta (literatura existentă, opinia experților, un studiu pilot sau chiar o estimare empirică), altele decât propria credință.
• Dacă legătura nu ' t work: web.archive.org/web/20150409022746/http://…

Să presupunem că aveți un set de observații binare $ Y_i $ pentru $ i = 1, \ ldots, n $ și, pentru fiecare observație, o variabilă explicativă asociată $ X_i $. Regresia logistică presupune $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i. $$ Dacă obțineți estimări punctuale ale parametrilor prin maximă probabilitate, atunci utilizați doar ipotezele de mai sus. Dar, dacă obțineți estimări ale parametrilor utilizând o abordare bayesiană, atunci trebuie să definiți un precedent pentru $ \ beta_0 $ și $ \ beta_1 $, numiți-l $ p (\ beta_0, \ beta_1) $. Această prioritate, împreună cu ipotezele de regresie logistică de mai sus, este regresia logistică bayesiană.

Nu pretind că sunt expert în regresie logistică. Dar îmi imaginez că merge cam așa – să presupunem $ Y $ este o variabilă binară aleatorie care ia fie valoarea $ 0 $, fie $ 1 $. Definiți $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$ unde $ X $ este variabila independentă (presupun un singur predictor pentru simplitate). Apoi regresia logistică își asumă forma $$ \ ln \ left (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$ unde $ \ epsilon $ este independent de $ X $ și are o valoare medie de $ 0 $, iar $ \ beta_i $ sunt estimate utilizând probabilitatea maximă. Cu regresia logistică bayesiană, îmi imaginez că folosiți ceva de genul $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ dreapta)} {\ displaystyle \ sum \ limits_ {j} \ mathbb {P} \ left (X = x \ mid Y = j \ right) \ mathbb {P} \ left (Y = j \ right)} $$ și atribuiți ceva pentru distribuția $ X \ mid Y = j $ și o distribuție anterioară pentru $ Y $. Acesta este, din înțelegerea mea limitată, cred că baza Analizei Discriminante Liniare.