¿Cuál es la diferencia entre la regresión logística y la regresión logística bayesiana?

Las otras respuestas son buenas. Sin embargo, para aclarar la intuición y dar algunos detalles adicionales:

• En la regresión logística, maximizas la función de probabilidad $ p (y | \ beta_ {0}, \ beta_ {1}, x) $ (buscar MLE). Es decir, encuentra los pesos $ \ beta_ {0}, \ beta_ {1} $ que maximizan la probabilidad de sus datos observados. No existe una solución de forma cerrada para el MLE, por lo que debe utilizar métodos iterativos. Esto le da una estimación puntual de nuestros pesos.
• En la regresión logística bayesiana, comienza con una creencia inicial sobre la distribución de $ p (\ beta_ {0}, \ beta_ {1}) $. Entonces $ p (\ beta_ {0}, \ beta_ {1} | x, y) \ propto p (y | \ beta_ {0}, \ beta_ {1}, x) p (\ beta_ {0}, \ beta_ {1}) $. Es decir, el posterior, que es nuestra creencia actualizada sobre los pesos dados a la evidencia, es proporcional a nuestro anterior (creencia inicial) multiplicado por la probabilidad. No podemos evaluar la forma cerrada posterior, pero podemos aproximarla mediante métodos de muestreo o variacionales. Esto nos da una distribución sobre los pesos. Por ejemplo, si usamos una aproximación normal para $ \ beta_ {0} $ y $ \ beta_ {1} $ usando métodos variacionales, entonces obtendremos una media y una variación para $ \ beta_ {0} $, y una para $ \ beta_ {1} $ también.

Para obtener más detalles sobre ambas técnicas, estas notas de escriba de una conferencia son excelentes http://web.cse.ohio-state.edu/~kulis/teaching/788_sp12/scribe_notes/lecture6.pdf .

Comentarios

• La estimación de máxima verosimilitud proporciona una estimación puntual de los parámetros, pero también se puede y debería proporcionar una estimación de la incertidumbre utilizando Aproximación normal justificada por las propiedades muestrales grandes de los estimadores de máxima verosimilitud. Las regresiones logísticas bayesianas comienzan con información previa, no creencia. Si no tiene información previa, debe utilizar una previa no informativa. Gelman y col. Recomiende la regresión logística predeterminada a priori de Cauchy con escala = 0.1 para términos de intersección y escala = 0.4 para términos de pendiente.
• Gracias. ¿Puede aclarar el significado de la información anterior?
• Es ' principalmente una cuestión de semántica. La creencia previa y la información previa son dos frases en inglés diferentes para el mismo concepto: la distribución de probabilidad de los parámetros que lleva consigo al modelo. Enfatizo el término información sobre creencia porque realmente debe tener alguna justificación para ello (literatura existente, opinión de expertos, un estudio piloto o incluso una estimación empírica) que no sea su propia fe.
• Si el vínculo no lo hace ' t trabajo: web.archive.org/web/20150409022746/http://…

Suponga que tiene un conjunto de observaciones binarias $ Y_i $ para $ i = 1, \ ldots, n $ y, para cada observación, una variable explicativa asociada $ X_i $. La regresión logística asume $$ Y_i \ stackrel {ind} {\ sim} Ber (\ pi_i), \ quad \ ln \ left (\ frac {\ pi_i} {1- \ pi_i} \ right) = \ beta_0 + \ beta_1 X_i. $$ Si está obteniendo estimaciones puntuales de los parámetros mediante la máxima verosimilitud, utilice los supuestos anteriores. Pero, si está obteniendo estimaciones de los parámetros usando un enfoque bayesiano, entonces necesita definir una previa para $ \ beta_0 $ y $ \ beta_1 $, llámelo $ p (\ beta_0, \ beta_1) $. Este previo, junto con los supuestos de regresión logística anteriores, es la regresión logística bayesiana.

No pretendo ser un experto en regresión logística. Pero imagino que es algo como esto, supongamos $ Y $ es una variable aleatoria binaria que toma el valor $ 0 $ o $ 1 $. Defina $$ \ pi = \ mathbb {P} \ left (Y = 0∣X \ right) \ text {,} $$ donde $ X $ es la variable independiente (asumo solo un predictor por simplicidad). Luego, la regresión logística asume la forma $$ \ ln \ left (\ dfrac {\ pi} {1- \ pi} \ right) = \ beta_0 + \ beta_1 X + \ epsilon $$ donde $ \ epsilon $ es independiente de $ X $ y tiene una media de $ 0 $, y los $ \ beta_i $ se estiman utilizando la máxima probabilidad. Con la regresión logística bayesiana, imagino que usa algo como $$ \ pi = \ dfrac {\ mathbb {P} \ left (X = x \ mid Y = 0 \ right) \ mathbb {P} \ left (Y = 0 \ derecha)} {\ Displaystyle \ sum \ limits_ {j} \ mathbb {P} \ left (X = x \ mid Y = j \ right) \ mathbb {P} \ left (Y = j \ right)} $$ y asigne algo para la distribución de $ X \ mid Y = j $ y una distribución anterior para $ Y $. Esto es, desde mi comprensión limitada, creo que la base del análisis discriminante lineal.