로지스틱 회귀와 베이지안 로지스틱 회귀의 차이점은 무엇입니까?

다른 답도 좋습니다. 그러나 직관을 명확히하고 몇 가지 추가 세부 정보를 제공하려면 다음과 같이하십시오.

• 로지스틱 회귀에서 우도 함수 $ p (y | \ beta_ {0}, \ beta_ {1}, x) $ (MLE 찾기). 즉, 관측 된 데이터의 가능성을 최대화하는 가중치 $ \ beta_ {0}, \ beta_ {1} $를 찾습니다. MLE에 대한 폐쇄 형 솔루션이 없으므로 반복적 인 방법을 사용해야합니다. 이것은 우리의 가중치에 대한 단일 포인트 추정치를 제공합니다.
• 베이지안 로지스틱 회귀에서는 $ p (\ beta_ {0}, \ beta_ {1}) $의 분포에 대한 초기 믿음으로 시작합니다. 그런 다음 $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. 즉, 근거가 주어진 가중치에 대한 업데이트 된 신념 인 사후는 이전 (초기 신념)에 가능성을 곱한 값에 비례합니다. 닫힌 형태는 사후에 평가할 수 없지만 샘플링 또는 변형 방법으로 근사 할 수 있습니다. 이렇게하면 가중치에 대한 분포가 제공됩니다. 예를 들어 $ \ beta_ {0} $ 및 $ \ 모두에 대해 정규 근사치를 사용하는 경우 변형 방법을 사용하여 beta_ {1} $를 사용하면 $ \ beta_ {0} $에 대한 평균과 분산을 얻을 수 있고 $ \ beta_ {1} $에 대해서도 하나를 얻을 수 있습니다.

두 기술에 대한 자세한 내용은 강의의이 서기 노트가 훌륭합니다. http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

주석

• 최대 가능성 추정은 매개 변수의 포인트 추정치를 제공하지만 다음을 사용하여 불확실성의 추정치를 제공 할 수도 해야합니다 . 최대 우도 추정기의 큰 표본 속성에 의해 정당화되는 정규 근사. 베이지안 물류 회귀는 믿음 이 아닌 이전 정보 로 시작됩니다. 사전 정보가없는 경우 정보가없는 사전을 사용해야합니다. Gelman et al. 절편 항의 경우 척도 = 0.1, 경사 항의 경우 척도 = 0.4 인 기본 로지스틱 회귀 Cauchy 사전을 권장합니다.
• 감사합니다. 사전 정보의 의미를 명확히 할 수 있습니까?
• 그것이 ' 대부분 의미론의 문제입니다. 사전 신념과 사전 정보는 동일한 개념에 대한 두 가지 다른 영어 문구입니다. 즉, 모델로 가져가는 매개 변수의 확률 분포입니다. 나는 믿음보다 정보라는 용어를 강조합니다. 왜냐하면 여러분은 자신의 믿음이 아닌 다른 정당성 (기존 문헌, 전문가 의견, 파일럿 연구 또는 실증적 추정)이 있어야하기 때문입니다.
• 링크가 그렇지 않은 경우 ' 작동하지 않음 : web.archive.org/web/20150409022746/ http://…

$ i =에 대해 $ Y_i $ 이진 관측치 세트가 있다고 가정합니다. 1, \ ldots, n $ 및 각 관측치에 대한 관련 설명 변수 $ X_i $. 로지스틱 회귀는 $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i를 가정합니다. $$ 최대 가능성을 통해 모수의 포인트 추정치를 얻는 경우 위의 가정을 사용합니다. 그러나 베이지안 접근 방식을 사용하여 매개 변수의 추정치를 구하는 경우 $ \ beta_0 $ 및 $ \ beta_1 $에 대한 사전을 정의하고 $ p (\ beta_0, \ beta_1) $로 이름을 지정해야합니다. 위의 로지스틱 회귀 가정과 함께이 사전은 베이지안 로지스틱 회귀입니다.

저는 로지스틱 회귀에 대한 전문가라고 주장하지 않습니다.하지만 이런 식으로 진행될 것이라고 생각합니다. $ Y $는 $ 0 $ 또는 $ 1 $ 값을 취하는 이진 랜덤 변수입니다. $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$를 정의하십시오. 여기서 $ X $는 독립 변수입니다 (단순성을 위해 하나의 예측 변수 만 가정합니다). 그런 다음 로지스틱 회귀는 $$ \ ln \ left (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$ 형식을 가정합니다. 여기서 $ \ epsilon $은 $ X $와 무관합니다. 평균은 $ 0 $이고 $ \ beta_i $는 최대 가능성을 사용하여 추정됩니다. 베이지안 로지스틱 회귀를 사용하면 $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ 오른쪽)} {\ displaystyle \ sum \ limits_ {j} \ mathbb {P} \ left (X = x \ mid Y = j \ right) \ mathbb {P} \ left (Y = j \ right)} $$ $ X \ mid Y = j $의 배포와 $ Y $에 대한 이전 배포를 할당합니다. 제한된 이해로 볼 때 이것이 선형 판별 분석의 기초라고 생각합니다.