Quelle est la différence entre la régression logistique et la régression logistique bayésienne?

Les autres réponses sont bonnes. Cependant, pour clarifier lintuition et donner quelques détails supplémentaires:

• En régression logistique, vous maximisez la fonction de vraisemblance $ p (y | \ beta_ {0}, \ beta_ {1}, x) $ (trouver MLE). Autrement dit, vous trouvez les pondérations $ \ beta_ {0}, \ beta_ {1} $ qui maximisent la probabilité de vos données observées. Il nexiste pas de solution de formulaire fermé pour le MLE, vous devez donc utiliser des méthodes itératives. Cela vous donne une estimation ponctuelle de nos poids.
• Dans la régression logistique bayésienne, vous commencez par une croyance initiale sur la distribution de $ p (\ beta_ {0}, \ beta_ {1}) $. Puis $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. Autrement dit, le postérieur, qui est notre croyance mise à jour sur les poids donnés en preuve, est proportionnel à notre précédente (croyance initiale) multipliée par la probabilité. Nous ne pouvons pas évaluer la forme fermée a posteriori, mais pouvons lapprocher par échantillonnage ou des méthodes variationnelles. Cela nous donne une distribution sur les poids. Par exemple, si nous utilisons une approximation normale pour $ \ beta_ {0} $ et $ \ beta_ {1} $ en utilisant des méthodes variationnelles, alors nous « obtiendrons une moyenne et une variance pour $ \ beta_ {0} $, et une pour $ \ beta_ {1} $ également.

Pour plus de détails sur les deux techniques, ces notes de rédaction dune conférence sont excellentes http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

Commentaires

• Lestimation du maximum de vraisemblance fournit une estimation ponctuelle des paramètres, mais on peut aussi et devrait fournir une estimation de lincertitude en utilisant une approximation normale justifiée par les propriétés des grands échantillons des estimateurs du maximum de vraisemblance. Les régressions logistiques bayésiennes commencent par des informations antérieures et non des croyances. Si vous navez aucune information préalable, vous devez utiliser un préalable non informatif. Gelman et coll. recommande la régression logistique par défaut des priors de Cauchy avec échelle = 0,1 pour les termes dinterception et échelle = 0,4 pour les termes de pente.
• Merci. Pouvez-vous clarifier la signification des informations antérieures?
• Cest ' principalement une question de sémantique. La croyance antérieure et les informations préalables sont deux expressions anglaises différentes pour le même concept: la distribution de probabilité des paramètres que vous emportez avec vous dans le modèle. Jinsiste sur le terme information plutôt que croyance parce que vous devriez vraiment avoir une justification (littérature existante, opinion dexperts, une étude pilote, ou même une estimation empirique) autre que votre propre foi.
• Si le lien ne ' t travail: web.archive.org/web/20150409022746/http://…

Supposons que vous ayez un ensemble dobservations binaires $ Y_i $ pour $ i = 1, \ ldots, n $ et, pour chaque observation, une variable explicative associée $ X_i $. La régression logistique suppose $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i. $$ Si vous obtenez des estimations ponctuelles des paramètres via le maximum de vraisemblance, utilisez simplement les hypothèses ci-dessus. Mais, si vous obtenez des estimations des paramètres en utilisant une approche bayésienne, alors vous devez définir un a priori pour $ \ beta_0 $ et $ \ beta_1 $, appelez-le $ p (\ beta_0, \ beta_1) $. Ce préalable ainsi que les hypothèses de régression logistique ci-dessus constituent une régression logistique bayésienne.

Je ne prétends pas être un expert en régression logistique. Mais jimagine que ça se passe comme ça – supposons $ Y $ est une variable aléatoire binaire prenant la valeur $ 0 $ ou $ 1 $. Définissez $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$ où $ X $ est la variable indépendante (I « m en supposant quun seul prédicteur pour la simplicité). Alors la régression logistique prend la forme $$ \ ln \ left (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$ où $ \ epsilon $ est indépendant de $ X $ et a une moyenne de $ 0 $, et les $ \ beta_i $ sont estimés en utilisant le maximum de vraisemblance. Avec la régression logistique bayésienne, jimagine que vous utilisez quelque chose comme $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ right)} {\ displaystyle \ sum \ limits_ {j} \ mathbb {P} \ left (X = x \ mid Y = j \ right) \ mathbb {P} \ left (Y = j \ right)} $$ et assignez quelque chose pour la distribution de $ X \ mid Y = j $ et une distribution antérieure pour $ Y $. Cest, daprès ma compréhension limitée, je crois que la base de lanalyse discriminante linéaire.