Ayúdame a comprender las distribuciones bayesianas anterior y posterior

Permítanme explicar primero qué es una conjugada previa . Luego explicaré los análisis bayesianos usando su ejemplo específico. Las estadísticas bayesianas implican los siguientes pasos:

1. Defina la distribución anterior que incorpora sus creencias subjetivas sobre un parámetro (en su ejemplo, el parámetro de interés es la proporción de manos). La previa puede ser «no informativa» o «informativa» (pero no hay ninguna previa que no tenga información, vea la discusión aquí ).
2. Recopile datos.
3. Actualice su distribución anterior con los datos utilizando el teorema de Bayes para obtener una distribución posterior. La distribución posterior es una distribución de probabilidad que representa sus creencias actualizadas sobre el parámetro. después de haber visto los datos.
4. Analizar la distribución posterior y resumirla (media, mediana, dt, cuantiles, …).

La base de todas las estadísticas bayesianas es el teorema de Bayes, que es

$$ \ mathrm {posterior} \ propto \ mathrm {prior} \ times \ mathrm {verosimilitud} $$

En su caso, la probabilidad es binomial. Si la distribución anterior y posterior están en la misma familia, el anterior y el posterior se denominan distribuciones conjugadas . La distribución beta es un previo conjugado porque el posterior también es una distribución beta. Decimos que la distribución beta es la familia conjugada para la probabilidad binomial . Los análisis conjugados son convenientes, pero rara vez ocurren en problemas del mundo real. En la mayoría de los casos, la distribución posterior debe encontrarse numéricamente a través de MCMC (usando Stan, WinBUGS, OpenBUGS, JAGS, PyMC o algún otro programa).

Si la distribución de probabilidad previa no se integra a 1, se denomina anterior impropia , si se integra a 1, se denomina prior propia . En la mayoría de los casos , un pri inadecuado o no plantea un problema importante para los análisis bayesianos. Sin embargo, la distribución posterior debe ser adecuada, es decir, la parte posterior debe integrarse a 1.

Estas reglas generales se derivan directamente de la naturaleza del procedimiento de análisis bayesiano:

• Si el anterior no es informativo, el posterior está muy determinado por los datos (el posterior está basado en datos)
• Si el anterior es informativo, el posterior es una mezcla de anterior y los datos
• Cuanto más informativo sea el anterior, más datos necesitará para «cambiar» sus creencias, por así decirlo, porque el posterior se basa en gran medida en la información previa
• Si usted tienen muchos datos, los datos dominarán la distribución posterior (abrumarán a la anterior)

Una excelente descripción general de algunas posibles anteriores «informativas» y «no informativas» para la distribución beta puede se puede encontrar en esta publicación .

Supongamos que su versión beta anterior es $ \ mathrm {Beta} (\ pi_ {LH} | \ alpha, \ beta) $ donde $ \ pi_ {LH} $ es la proporción de zurdos. Para especificar los parámetros anteriores $ \ alpha $ y $ \ beta $ , es útil conocer la media y varianza de la distribución beta (por ejemplo, si desea que su anterior tenga una media y una varianza determinadas). La media es $ \ bar {\ pi} _ {LH} = \ alpha / (\ alpha + \ beta) $ . Por lo tanto, siempre que $ \ alpha = \ beta $ , la media es $ 0.5 $ . La varianza de la distribución beta es $ \ frac {\ alpha \ beta} {(\ alpha + \ beta) ^ {2} (\ alpha + \ beta + 1)} $ . Ahora, lo conveniente es que puede pensar en $ \ alpha $ y $ \ beta $ como antes (pseudo-) datos observados, a saber, $ \ alpha $ zurdos y $ \ beta $ derecha- entregas de una (pseudo-) muestra de tamaño $ n_ {eq} = \ alpha + \ beta $ . La distribución $ \ mathrm {Beta} (\ pi_ {LH} | \ alpha = 1, \ beta = 1) $ es la distribución uniforme (todos los valores de $ \ pi_ {LH} $ son igualmente probables) y es el equivalente a haber observado a dos personas, de las cuales una es zurda y la otra es diestra.

La distribución beta posterior es simplemente $ \ mathrm {Beta} (z + \ alpha, N – z + \ beta) $ donde $ N $ es el tamaño de la muestra y $ z $ es el número de zurdos en la muestra. Por lo tanto, la media posterior de $ \ pi_ {LH} $ es $ (z + \ alpha) / (N + \ alpha + \ beta) $ . Entonces, para encontrar los parámetros de la distribución beta posterior, simplemente agregamos $ z $ zurdos a $ \ alpha $ y $ Nz $ diestros a $ \ beta $ . La varianza posterior es $ \ frac {(z + \ alpha) (N-z + \ beta)} {(N + \ alpha + \ beta) ^ {2} (N + \ alpha + \ beta + 1)} $ . Tenga en cuenta que un a priori altamente informativo también conduce a una variación más pequeña de la distribución posterior (los gráficos a continuación ilustran el punto muy bien).

En su caso, $ z = 2 $ y $ N = 18 $ y su anterior es el uniforme que no es informativo, por lo que $ \ alpha = \ beta = 1 $ . Por lo tanto, su distribución posterior es $ Beta (3, 17) $ . La media posterior es $ \ bar {\ pi} _ {LH} = 3 / (3 + 17) = 0.15 $ .Aquí hay un gráfico que muestra el anterior, la probabilidad de los datos y el posterior

Verá que debido a que su distribución anterior no es informativa, su distribución posterior está totalmente impulsada por los datos. También se grafica el intervalo de densidad más alto (IDH) para la distribución posterior. Imagine que coloca su distribución posterior en una cuenca 2D y comienza a llenar de agua hasta que el 95% de la distribución esté por encima de la línea de flotación. Los puntos donde la línea de flotación se cruza con la distribución posterior constituyen el 95% -HDI. Cada punto dentro del IDH tiene una probabilidad más alta que cualquier punto fuera de él. Además, el IDH siempre incluye el pico de la distribución posterior (es decir, la moda). El IDH es diferente de un intervalo creíble del 95% de cola igual en el que se excluye el 2,5% de cada cola de la parte posterior (consulte aquí ).

Para su segunda tarea, se le pide que incorpore la información de que entre el 5 y el 20% de la población son zurdos. Hay varias formas de hacerlo. La forma más sencilla es decir que la distribución beta anterior debería tener una media de $ 0.125 $ que es la media de $ 0.05 $ y $ 0.2 $ . Pero cómo elegir $ \ alpha $ y $ \ beta $ de la distribución beta anterior? Primero, desea que la media de la distribución anterior sea $ 0.125 $ de una pseudomuestra de tamaño de muestra equivalente $ n_ {eq} $ . De manera más general, si desea que su anterior tenga un $ m $ con un tamaño de pseudomuestra $ n_ {eq} $ , el $ \ alpha $ correspondiente y Los valores de $ \ beta $ son: $ \ alpha = mn_ {eq} $ y $ \ beta = (1-m) n_ {eq} $ . Todo lo que le queda por hacer ahora es elegir el tamaño de la pseudomuestra $ n_ {eq} $ que determina qué tan seguro está acerca de su información anterior. Supongamos que está muy seguro de su información anterior y establezca $ n_ {eq} = 1000 $ . Los parámetros de su distribución anterior son por lo tanto $ \ alpha = 0.125 \ cdot 1000 = 125 $ y $ \ beta = (1 – 0.125) \ cdot 1000 = 875 $ . La distribución posterior es $ \ mathrm {Beta} (127, 891) $ con una media de aproximadamente $ 0.125 $ que es prácticamente la misma que la media anterior de $ 0.125 $ . La información previa domina la posterior (ver el siguiente gráfico):

Si está menos seguro acerca de la información anterior, puede establecer el $ n_ {eq} $ de su pseudo-muestra a, digamos, $ 10 $ , lo que da como resultado $ \ alpha = 1.25 $ y $ \ beta = 8.75 $ para su distribución beta anterior. La distribución posterior es $ \ mathrm {Beta} (3.25, 24.75) $ con una media de aproximadamente $ 0.116 $ . La media posterior ahora está cerca de la media de sus datos ( $ 0.111 $ ) porque los datos superan a los anteriores. Aquí está el gráfico que muestra la situación:

Un método más avanzado de incorporar la información anterior sería decir que el $ 0.025 $ cuantil de su distribución beta anterior debería ser aproximadamente $ 0.05 $ y el cuantil $ 0.975 $ debe ser aproximadamente $ 0.2 $ . Esto equivale a decir que está un 95% seguro de que la proporción de zurdos en la población se sitúa entre el 5% y el 20%. La función beta.select en el paquete R LearnBayes calcula el $ \ alpha $ y $ \ beta $ valores de una distribución beta correspondiente a dichos cuantiles. El código es

library(LearnBayes) quantile1=list(p=.025, x=0.05) # the 2.5% quantile should be 0.05 quantile2=list(p=.975, x=0.2) # the 97.5% quantile should be 0.2 beta.select(quantile1, quantile2) [1] 7.61 59.13 

Parece que una distribución beta con parámetros $ \ alpha = 7.61 $ y $ \ beta = 59.13 $ tiene las propiedades deseadas. La media anterior es $ 7.61 / (7.61 + 59.13) \ approx 0.114 $ que está cerca de la media de sus datos ( $ 0.111 $ ). Nuevamente, esta distribución anterior incorpora la información de una pseudomuestra de un tamaño de muestra equivalente de aproximadamente $ n_ {eq} \ approx 7.61 + 59.13 \ approx 66.74 $ . La distribución posterior es $ \ mathrm {Beta} (9.61, 75.13) $ con una media de $ 0.113 $ que es comparable con la media del análisis anterior utilizando un $ \ mathrm {Beta} (125, 875) $ muy informativo. Aquí está el gráfico correspondiente:

Consulte también esta referencia para una breve pero en mi humilde opinión general del razonamiento bayesiano y análisis simple. aquí puede encontrar una introducción más extensa para análisis conjugados, especialmente para datos binomiales. Se puede encontrar una introducción general al pensamiento bayesiano aquí . Más diapositivas sobre aspectos de las estadísticas baysianas están aquí .

Comentarios

• Por qué ¿Elegimos la distribución Beta aquí?
• @Metallica La razón principal es que la Beta es el conjugado anterior de la distribución binomial. Esto significa que si elegimos una Beta como anterior, la posterior también será Beta. Otras razones son que la Beta está entre 0 y 1 y es muy flexible. Incluye el uniforme, por ejemplo. Pero cualquier distribución adecuada con soporte en $ (0,1) $ puede usarse como antes. ‘ s solo que el posterior es más difícil de calcular.
• Si las gráficas se trazan con R? ¿Podría agregar códigos R para generar los gráficos anteriores? Son realmente útiles. ¡Gracias!
• Pensé que un anterior no informativo sería el anterior de Jeffrey ‘ $ \ alpha = \ beta = \ frac 1 2 $ … ¿por qué crees ¿No es el caso?
• @meduz Estrictamente hablando, no existe una » no informativa » anterior real. Me gustaría referirlo a la excelente respuesta de Tim sobre esta discusión.

Una distribución beta con $ \ alpha $ = 1 y $ \ beta $ = 1 es lo mismo que una distribución uniforme. Entonces, de hecho, es uniformativo. Estás intentando encontrar información sobre un parámetro de una distribución (en este caso, el porcentaje de personas zurdas en un grupo de personas). La fórmula de Bayes dice:

$ P (r | Y_ {1, …, n}) $ = $ \ frac {P (Y_ {1, …, n} | r) * P (r)} {\ int P (Y_ {1, …, n} | \ theta) * P (r)} $

que señaló es proporcional a:

$ P (r | Y_ {1, …, n}) $ $ \ propto $ $ (Y_ {1, …, n} | r) * P (r) $

Entonces, básicamente, estás comenzando con tu creencia previa de la proporción de zurdos en el grupo. (P (r), para el cual estás usando una distribución uniforme), luego considerando los datos que recolectas para informar a tu anterior (un binomio en este caso. O eres diestro o zurdo, entonces $ P (Y_ { 1, …, n} | r) $). Una distribución binomial tiene un conjugado beta a priori, lo que significa que la distribución posterior $ P (r | Y_ {1, … n}) $, la distribución del parámetro después de considerar los datos está en la misma familia que la anterior. r aquí no es desconocido al final. (y, francamente, no fue antes de recopilar los datos. Tenemos una idea bastante clara de la proporción de zurdos en la sociedad). Tiene la distribución previa (su suposición de r) y ha recopilado datos y juntar los dos. El posterior es su nueva suposición de la distribución de zurdos después de considerar los datos. Así que toma la probabilidad de los datos y la multiplica por un uniforme. El valor esperado de una distribución beta (que es el cartel) es $ \ frac {\ alpha} {\ alpha + \ beta} $. Entonces, cuando comenzó, su suposición con $ \ alpha $ = 1 y $ \ beta $ = 1 era que la proporción de zurdos en el mundo era $ \ frac {1} {2} $. Ahora ha recopilado datos que tienen 2 zurdos de 18. Ha calculado un posterior. (todavía una versión beta) Sus valores $ \ alpha $ y $ \ beta $ ahora son diferentes, cambiando su idea de la proporción de zurdos frente a diestros. ¿cómo ha cambiado?

En la primera parte de su pregunta, se le pide que defina una previa adecuada para «r «. Con los datos binomiales en la mano, sería prudente elegir una distribución beta. Porque entonces la parte posterior será una beta. La distribución uniforme es un caso especial de beta, puede elegir antes de «r» la distribución uniforme permitiendo que todos los valores posibles de «r» sean igualmente probables.

En la segunda parte ha proporcionado la distribución uniforme información sobre la distribución anterior «r».

Con esto en la mano, la respuesta de @COOLSerdash le dará las instrucciones adecuadas.

Gracias por publicar esta pregunta y COOLSerdash por proporcionar una respuesta adecuada.