Qual é a diferença entre regressão logística e regressão logística bayesiana?

As outras respostas são boas. No entanto, para esclarecer a intuição, bem como dar alguns detalhes adicionais:

• Na regressão logística, você maximiza a função de verossimilhança $ p (y | \ beta_ {0}, \ beta_ {1}, x) $ (encontre MLE). Ou seja, você encontra os pesos $ \ beta_ {0}, \ beta_ {1} $ que maximizam a probabilidade de seus dados observados. Não existe uma solução de forma fechada para o MLE, então você precisa usar métodos iterativos. Isso dá a você uma estimativa de ponto único de nossos pesos.
• Na regressão logística bayesiana, você começa com uma crença inicial sobre a distribuição de $ p (\ beta_ {0}, \ beta_ {1}) $. Então $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. Ou seja, a posterior, que é nossa crença atualizada sobre os pesos dados evidências, é proporcional à nossa anterior (crença inicial) vezes a probabilidade. Não podemos avaliar a forma posterior fechada, mas podemos aproximar por amostragem ou métodos variacionais. Isso nos dá uma distribuição sobre os pesos. Por exemplo, se usarmos uma aproximação normal para $ \ beta_ {0} $ e $ \ beta_ {1} $ usando métodos variacionais, então obteremos uma média e uma variância para $ \ beta_ {0} $ e uma para $ \ beta_ {1} $ também.

Para obter mais detalhes sobre as duas técnicas, essas notas de escrita de uma palestra são excelentes http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

Comentários

• A estimativa de máxima verossimilhança fornece uma estimativa pontual dos parâmetros, mas também se pode e deve fornecer uma estimativa de incerteza usando aproximação normal justificada pelas grandes propriedades amostrais dos estimadores de máxima verossimilhança. As regressões logísticas bayesianas começam com informações anteriores, não crenças. Se você não tem informações anteriores, deve usar uma prioridade não informativa. Gelman et al. recomendo regressão logística padrão Cauchy priors com escala = 0,1 para termos de interceptação e escala = 0,4 para termos de inclinação.
• Obrigado. Você pode esclarecer o significado das informações anteriores?
• É ' uma questão de semântica principalmente. Crença prévia e informação prévia são duas frases diferentes em inglês para o mesmo conceito: a distribuição de probabilidade dos parâmetros que você leva com você para o modelo. Enfatizo o termo informação em vez de crença porque você realmente deve ter alguma justificativa para isso (literatura existente, opinião de especialista, um estudo piloto ou mesmo uma estimativa empírica) diferente de sua própria fé.
• Se o link não ' t work: web.archive.org/web/20150409022746/http://…

Suponha que você tenha um conjunto de observações binárias $ Y_i $ para $ i = 1, \ ldots, n $ e, para cada observação, uma variável explicativa associada $ X_i $. A regressão logística assume $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i. $$ Se você está obtendo estimativas pontuais dos parâmetros por meio da probabilidade máxima, basta usar as premissas acima. Mas, se você está obtendo estimativas dos parâmetros usando uma abordagem Bayesiana, então você precisa definir uma prévia para $ \ beta_0 $ e $ \ beta_1 $, chame-a de $ p (\ beta_0, \ beta_1) $. Este prior, juntamente com as suposições de regressão logística acima, é a regressão logística bayesiana.

Não tenho a pretensão de ser um especialista em regressão logística. Mas imagino que seja algo assim – suponha $ Y $ é uma variável binária aleatória que assume o valor $ 0 $ ou $ 1 $. Defina $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$ onde $ X $ é a variável independente (estou assumindo apenas um preditor para simplificar). Então a regressão logística assume a forma $$ \ ln \ left (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$ onde $ \ epsilon $ é independente de $ X $ e tem média $ 0 $, e $ \ beta_i $ são estimados usando a probabilidade máxima. Com a regressão logística bayesiana, imagino que você use algo como $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ direita)} {\ displaystyle \ sum \ limits_ {j} \ mathbb {P} \ left (X = x \ mid Y = j \ right) \ mathbb {P} \ left (Y = j \ right)} $$ e atribua algo para a distribuição de $ X \ mid Y = j $ e uma distribuição anterior para $ Y $. Do meu limitado entendimento, acredito que esta é a base da Análise Discriminante Linear.