Qual è la differenza tra regressione logistica e regressione logistica bayesiana?

Le altre risposte sono buone. Tuttavia, per chiarire lintuizione e fornire ulteriori dettagli:

• Nella regressione logistica, massimizzi la funzione di verosimiglianza $ p (y | \ beta_ {0}, \ beta_ {1}, x) $ (trova MLE). Cioè, trovi i pesi $ \ beta_ {0}, \ beta_ {1} $ che massimizzano la probabilità che i tuoi dati osservati siano. Non esiste una soluzione in forma chiusa per MLE, quindi è necessario utilizzare metodi iterativi. Questo ti dà una stima puntuale dei nostri pesi.
• Nella regressione logistica bayesiana, inizi con una convinzione iniziale sulla distribuzione di $ p (\ beta_ {0}, \ beta_ {1}) $. Quindi $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. Cioè, il posteriore, che è la nostra convinzione aggiornata sui pesi dati evidenza, è proporzionale alla nostra precedente (convinzione iniziale) moltiplicata per la probabilità. Non possiamo valutare la forma chiusa a posteriori, ma possiamo approssimarla mediante campionamento o metodi variazionali. Questo ci dà una distribuzione sui pesi. Ad esempio, se usiamo unapprossimazione normale sia per $ \ beta_ {0} $ che per $ \ beta_ {1} $ utilizzando metodi variazionali, quindi otterremo una media e una varianza per $ \ beta_ {0} $ e una anche per $ \ beta_ {1} $.

Per ulteriori dettagli su entrambe le tecniche, questi appunti di una conferenza sono eccellenti http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

Commenti

• La stima della massima verosimiglianza fornisce una stima puntuale dei parametri, ma si può anche e dovrebbe fornire una stima dellincertezza utilizzando approssimazione normale giustificata dalle proprietà del grande campione degli stimatori di massima verosimiglianza. Le regressioni logistiche bayesiane iniziano con informazioni precedenti che non credono . Se non si dispone di informazioni precedenti, è necessario utilizzare un precedente non informativo. Gelman et al. consiglia la regressione logistica predefinita a priori di Cauchy con scala = 0,1 per i termini di intercettazione e scala = 0,4 per i termini di pendenza.
• Grazie. Puoi chiarire il significato delle informazioni precedenti?
• ' è principalmente una questione di semantica. La convinzione e le informazioni precedenti sono due frasi in lingua inglese diverse per lo stesso concetto: la distribuzione di probabilità dei parametri che porti con te nel modello. Sottolineo il termine informazione piuttosto che credenza perché dovresti davvero avere una giustificazione per esso (letteratura esistente, opinione di esperti, uno studio pilota o anche una stima empirica) diversa dalla tua fede.
• Se il collegamento non funziona. ' t work: web.archive.org/web/20150409022746/http://…

Supponi di avere un insieme di osservazioni binarie $ Y_i $ per $ i = 1, \ ldots, n $ e, per ogni osservazione, una variabile esplicativa associata $ X_i $. La regressione logistica presuppone $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i. $$ Se si ottengono stime puntuali dei parametri tramite la massima verosimiglianza, è sufficiente utilizzare le ipotesi precedenti. Tuttavia, se si ottengono stime dei parametri utilizzando un approccio bayesiano, è necessario definire un precedente per $ \ beta_0 $ e $ \ beta_1 $, chiamandolo $ p (\ beta_0, \ beta_1) $. Questo precedente insieme alle ipotesi di regressione logistica sopra è la regressione logistica bayesiana.

Non pretendo di essere un esperto di regressione logistica. Ma immagino che sia qualcosa di simile – supponiamo $ Y $ è una variabile casuale binaria che assume il valore $ 0 $ o $ 1 $. Definisci $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$ dove $ X $ è la variabile indipendente (presumo un solo predittore per semplicità). Quindi la regressione logistica assume la forma $$ \ ln \ left (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$ dove $ \ epsilon $ è indipendente da $ X $ e ha una media di $ 0 $ e $ \ beta_i $ sono stimati utilizzando la massima probabilità. Con la regressione logistica bayesiana, immagino che tu usi qualcosa come $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ destra)} {\ Displaystyle \ sum \ limits_ {j} \ mathbb {P} \ left (X = x \ mid Y = j \ right) \ mathbb {P} \ left (Y = j \ right)} $$ e assegnare qualcosa per la distribuzione di $ X \ mid Y = j $ e una distribuzione precedente per $ Y $. Questa è, dalla mia comprensione limitata, credo che la base dellanalisi discriminante lineare.