ロジスティック回帰とベイズロジスティック回帰の違いは何ですか？

他の回答は適切です。ただし、直感を明確にし、さらに詳細を示すために、次のようにします。

• ロジスティック回帰では、尤度関数$ p（y | \ beta_ {0}、\ beta_ {1}、x）$（MLEを検索）。つまり、観測されたデータの可能性を最大化する重み$ \ beta_ {0}、\ beta_ {1} $を見つけます。 MLEには閉じた形の解がないため、反復法を使用する必要があります。これにより、重みの単一点推定が得られます。
• ベイズロジスティック回帰では、$ p（\ beta_ {0}、\ beta_ {1}）$の分布についての最初の信念から始めます。次に、$ p（\ beta_ {0}、\ beta_ {1} | x、y）\ propto p（y | \ beta_ {0}、\ beta_ {1}、x）p（\ beta_ {0}、\ beta_ {1}）$。つまり、証拠が与えられた重みについての更新された信念である事後は、以前の（最初の信念）に尤度を掛けたものに比例します。閉形式の事後を評価することはできませんが、サンプリングまたは変分法によって近似することはできます。これにより、重み全体の分布が得られます。たとえば、$ \ beta_ {0} $と$ \の両方に通常の近似を使用する場合変分法を使用してbeta_ {1} $を実行すると、$ \ beta_ {0} $の平均と分散が取得され、$ \ beta_ {1} $の平均と分散も取得されます。

両方の手法の詳細については、これらの講義のスクライブノートは優れています http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf 。

コメント

• 最大可能性推定はパラメーターの点推定を提供しますが、を使用して不確実性の推定を提供することもできますそしてすべきです正規近似は、最大確率推定器の大きなサンプルプロパティによって正当化されます。ベイジアンロジスティクス回帰は、信念ではなく事前情報から始まります。事前情報がない場合は、情報量の少ない事前情報を使用する必要があります。 Gelman etal。切片項にはスケール= 0.1、勾配項にはスケール= 0.4のデフォルトのロジスティック回帰コーシー事前分布を推奨します。
• ありがとうございます。事前情報の意味を明確にできますか？
• 'は主にセマンティクスの問題です。事前信念と事前情報は、同じ概念の2つの異なる英語のフレーズです。つまり、モデルに持ち込むパラメーターの確率分布です。自分の信仰以外に、情報（既存の文献、専門家の意見、パイロット研究、さらには経験的見積もり）を正当化する必要があるため、信念よりも情報という用語を強調します。
• リンクがない場合'動作： web.archive.org/web/20150409022746/ http://…

$ i =のバイナリ観測値$ Y_i $のセットがあるとします。 1、\ ldots、n $、および各観測値について、関連する説明変数$ X_i $。ロジスティック回帰では、$$ Y_i \ stackrel {ind} {\ sim} Ber（\ pi_i）、\ quad \ ln \ left（\ frac {\ pi_i} {1- \ pi_i} \ right）= \ beta_0 + \ beta_1X_iを想定しています。 $$最尤法を使用してパラメーターの点推定を取得する場合は、上記の仮定を使用するだけです。ただし、ベイジアンアプローチを使用してパラメーターの推定値を取得する場合は、$ \ beta_0 $と$ \ beta_1 $の事前分布を定義する必要があり、$ p（\ beta_0、\ beta_1）$と呼びます。上記のロジスティック回帰の仮定に加えて、この事前分布はベイズロジスティック回帰です。

ロジスティック回帰の専門家であるとは主張していませんが、次のようになると思います。 $ Y $は、値$ 0 $または$ 1 $のいずれかを取るバイナリ確率変数です。$$ \ pi = \ mathbb {P} \ left（Y = 0∣X \ right）\ text {、} $$を定義します。ここで、$ X $は独立変数です（簡単にするために1つの予測子のみを想定しています）。次に、ロジスティック回帰は、$$ \ ln \ left（\ dfrac {\ pi} {1- \ pi} \ right）= \ beta_0 + \ beta_1 X + \ epsilon $$の形式を想定します。ここで、$ \ epsilon $は$ X $から独立しています。平均は$ 0 $で、$ \ beta_i $は最尤法を使用して推定されます。ベイズロジスティック回帰では、$$ \ pi = \ dfrac {\ mathbb {P} \ left（X = x \ mid Y = 0 \ right）\ mathbb {P} \ left（Y = 0 \のようなものを使用すると思います。 right）} {\ displaystyle \ sum \ limits_ {j} \ mathbb {P} \ left（X = x \ mid Y = j \ right）\ mathbb {P} \ left（Y = j \ right）} $$ and $ X \ mid Y = j $の分布に何かを割り当て、$ Y $に前の分布を割り当てます。これは、私の限られた理解から、線形判別分析の基礎であると信じています。