In un gruppo di studenti, ci sono 2 studenti su 18 che sono mancini. Trova la distribuzione a posteriori degli studenti mancini nella popolazione assumendo un precedente non informativo. Riassumi i risultati. Secondo la letteratura il 5-20% delle persone è mancino. Prendi in considerazione queste informazioni nella tua precedente e calcola il nuovo posteriore.
So che la distribuzione beta dovrebbe essere usata qui. Innanzitutto, con $ \ alpha $ e $ \ beta $ valori pari a 1? Lequazione che ho trovato nel materiale per posterior è
$$ \ pi (r \ vert Y) \ propto r ^ {(Y + −1)} \ volte (1 – r) ^ {(N − Y + −1)} \\ $$
$ Y = 2 $ , $ N = 18 $
Perché $ r $ nel equazione? ( $ r $ che indica la proporzione di persone mancine). È sconosciuto, quindi come può essere in questa equazione? A me sembra ridicolo calcolare $ r $ dato $ Y $ e usarlo $ r $ nellequazione fornendo $ r $ . Bene, con lesempio $ r = 2/18 $ il risultato è stato $ 0,0019 $ . $ f $ dovrei dedurne?
Lequazione che fornisce un valore atteso di $ R $ dati $ Y $ e $ N $ hanno funzionato meglio e mi hanno fornito $ 0,15 $ che suona bene. Lequazione è $ E (r | X, N, α, β) = (α + X) / (α + β + N) $ con valore $ 1 $ assegnato a $ α $ e $ β $ . Quali valori dovrei assegnare a $ α $ e $ β $ per tenere conto delle informazioni precedenti?
Alcuni suggerimenti sarebbero molto apprezzati. Nemmeno una conferenza generale sulle distribuzioni precedenti e posteriori farebbe male (ho una vaga comprensione di cosa sono ma solo vaga) Tieni presente anche che non sono uno statistico molto avanzato (in realtà sono uno scienziato politico nel mio mestiere principale) così avanzato la matematica probabilmente volerà sopra la mia testa.
Commenti
- Hai dato unocchiata a questo domanda e risposta ?
- La frase ” Trova la distribuzione a posteriori degli studenti mancini ” non ha senso. Le variabili casuali hanno distribuzioni e ” studenti mancini ” non è ‘ ta rv Presumo che tu intenda ” Trova la distribuzione a posteriori di la proporzione di studenti mancini “. ‘ è importante non sorvolare su tali dettagli, ma essere chiari di cosa ‘ stai effettivamente parlando.
- In realtà, leggendo la tua domanda mi sembra che il tuo problema non sia ‘ tante statistiche bayesiane quanto la semplice comprensione delle distribuzioni di probabilità; è ‘ è sempre il caso che largomento di una funzione di distribuzione (o una funzione di probabilità come hai lì) è una funzione di uno sconosciuto (il casuale variabile). Questo ‘ è tutto il punto.
- I commenti non sono per discussioni estese; questa conversazione è stata spostata nella chat .
Risposta
Prima di tutto vorrei spiegare cosè un coniugato precedente . Spiegherò quindi le analisi bayesiane usando il tuo esempio specifico. Le statistiche bayesiane comportano i seguenti passaggi:
- Definisci la distribuzione precedente che incorpora le tue convinzioni soggettive su un parametro (nel tuo esempio il parametro di interesse è la proporzione di sinistra- handers). La priorità può essere “non informativa” o “informativa” (ma non esiste una priorità che non abbia informazioni, vedere la discussione qui ).
- Raccogli dati.
- Aggiorna la tua distribuzione precedente con i dati usando il teorema di Bayes per ottenere una distribuzione a posteriori. La distribuzione a posteriori è una distribuzione di probabilità che rappresenta le tue convinzioni aggiornate sul parametro dopo aver visto i dati.
- Analizza la distribuzione a posteriori e riassumila (media, mediana, sd, quantili, …).
La base di tutte le statistiche bayesiane è il teorema di Bayes, che è
$$ \ mathrm {posterior} \ propto \ mathrm {prior} \ times \ mathrm {verosimiglianza} $$
Nel tuo caso, la probabilità è binomiale. Se la distribuzione a priori e quella a posteriori sono nella stessa famiglia, la distribuzione precedente e quella posteriore sono chiamate distribuzioni coniugate . La distribuzione beta è una precedente coniugata perché anche quella posteriore è una distribuzione beta. Diciamo che la distribuzione beta è la famiglia coniugata per la probabilità binomiale . Le analisi coniugate sono convenienti ma raramente si verificano nei problemi del mondo reale. Nella maggior parte dei casi, la distribuzione a posteriori deve essere trovata numericamente tramite MCMC (usando Stan, WinBUGS, OpenBUGS, JAGS, PyMC o qualche altro programma).
Se la distribuzione di probabilità a priori non si integra con 1, è chiamata precedente improprio , se si integra con 1 è chiamata precedente propria . Nella maggior parte dei casi , un pri improprio oppure non rappresenta un grosso problema per le analisi bayesiane. Tuttavia, la distribuzione a posteriori deve essere corretta, ovvero quella a posteriori deve integrarsi con 1.
Queste regole pratiche seguono direttamente la natura della procedura di analisi bayesiana:
- Se il precedente non è informativo, il posteriore è molto determinato dai dati (il posteriore è basato sui dati)
- Se il precedente è informativo, il posteriore è un misto di precedente e i dati
- Più è informativo il precedente, più dati hai bisogno per “cambiare” le tue convinzioni, per così dire perché il posteriore è molto guidato dalle informazioni precedenti
- Se tu avere molti dati, i dati domineranno la distribuzione a posteriori (supereranno la precedente)
Uneccellente panoramica di alcuni possibili priori “informativi” e “non informativi” per la distribuzione beta può essere trovato in questo post .
Supponiamo che la tua versione beta precedente sia $ \ mathrm {Beta} (\ pi_ {LH} | \ alpha, \ beta) $ dove $ \ pi_ {LH} $ è la proporzione di mancini. Per specificare i parametri precedenti $ \ alpha $ e $ \ beta $ , è utile conoscere la media e la varianza della distribuzione beta (ad esempio, se desideri che il tuo precedente abbia una certa media e varianza). La media è $ \ bar {\ pi} _ {LH} = \ alpha / (\ alpha + \ beta) $ . Pertanto, ogni volta che $ \ alpha = \ beta $ , la media è $ 0,5 $ . La varianza della distribuzione beta è $ \ frac {\ alpha \ beta} {(\ alpha + \ beta) ^ {2} (\ alpha + \ beta + 1)} $ . Ora, la cosa conveniente è che puoi pensare a $ \ alpha $ e $ \ beta $ come in precedenza dati (pseudo-) osservati, vale a dire $ \ alpha $ mancini e $ \ beta $ destra- distribuisce un (pseudo-) campione di dimensioni $ n_ {eq} = \ alpha + \ beta $ . La distribuzione $ \ mathrm {Beta} (\ pi_ {LH} | \ alpha = 1, \ beta = 1) $ è luniforme (tutti i valori di $ \ pi_ {LH} $ sono ugualmente probabili) ed è lequivalente di aver osservato due persone di cui una mancina e una destrorsa.
La distribuzione beta posteriore è semplicemente $ \ mathrm {Beta} (z + \ alpha, N – z + \ beta) $ dove $ N $ è la dimensione del campione e $ z $ è il numero di mancini nel campione. La media a posteriori di $ \ pi_ {LH} $ è quindi $ (z + \ alpha) / (N + \ alpha + \ beta) $ . Quindi, per trovare i parametri della distribuzione beta posteriore, aggiungiamo semplicemente $ z $ mancini a $ \ alpha $ e $ Nz $ a destra in $ \ beta $ . La varianza a posteriori è $ \ frac {(z + \ alpha) (N-z + \ beta)} {(N + \ alpha + \ beta) ^ {2} (N + \ alpha + \ beta + 1)} $ . Nota che un precedente altamente informativo porta anche a una minore varianza della distribuzione a posteriori (i grafici sotto illustrano bene il punto).
Nel tuo caso, $ z = 2 $ e $ N = 18 $ e il tuo precedente è luniforme che non fornisce informazioni, quindi $ \ alpha = \ beta = 1 $ . La tua distribuzione a posteriori è quindi $ Beta (3, 17) $ . La media a posteriori è $ \ bar {\ pi} _ {LH} = 3 / (3 + 17) = 0,15 $ .Ecco un grafico che mostra il precedente, la probabilità dei dati e il posteriore
Vedete che poiché la vostra distribuzione precedente non è informativa, la vostra distribuzione a posteriori è interamente guidata dai dati. Viene anche tracciato lintervallo di densità più alta (HDI) per la distribuzione posteriore. Immagina di mettere la tua distribuzione posteriore in un bacino 2D e iniziare a riempire dacqua fino a quando il 95% della distribuzione è al di sopra della linea di galleggiamento. I punti in cui la linea di galleggiamento si interseca con la distribuzione posteriore costituiscono il 95% -HDI. Ogni punto allinterno dellHDI ha una probabilità maggiore di qualsiasi punto al di fuori di esso. Inoltre, lHDI include sempre il picco della distribuzione posteriore (cioè la modalità). LHDI è diverso da un intervallo credibile del 95% a coda uguale in cui è escluso il 2,5% da ciascuna coda del posteriore (vedere qui ).
Per la tua seconda attività, ti viene chiesto di incorporare le informazioni secondo cui il 5-20% della popolazione è mancino. Ci sono diversi modi per farlo. Il modo più semplice è dire che la distribuzione beta precedente dovrebbe avere una media di $ 0,125 $ che è la media di $ 0,05 $ e $ 0.2 $ . Ma come scegliere $ \ alpha $ e $ \ beta $ di la distribuzione beta precedente? Innanzitutto, vuoi che la tua media della distribuzione precedente sia $ 0,125 $ da uno pseudo-campione di dimensioni del campione equivalente $ n_ {eq} $ . Più in generale, se vuoi che il tuo precedente abbia una media $ m $ con una dimensione pseudo-campione $ n_ {eq} $ , il corrispondente $ \ alpha $ e I valori di $ \ beta $ sono: $ \ alpha = mn_ {eq} $ e $ \ beta = (1-m) n_ {eq} $ . Tutto ciò che ti resta da fare ora è scegliere la dimensione dello pseudo-campione $ n_ {eq} $ che determina quanto sei sicuro delle tue informazioni precedenti. Supponiamo che tu sia molto sicuro delle tue informazioni precedenti e che imposti $ n_ {eq} = 1000 $ . I parametri della tua distribuzione precedente sono quindi $ \ alpha = 0.125 \ cdot 1000 = 125 $ e $ \ beta = (1 – 0.125) \ cdot 1000 = 875 $ . La distribuzione a posteriori è $ \ mathrm {Beta} (127, 891) $ con una media di circa $ 0,125 $ che è praticamente la stessa della media a priori di $ 0.125 $ . Linformazione precedente domina la parte posteriore (vedi il grafico seguente):
Se sei meno sicuro delle informazioni precedenti, puoi impostare $ n_ {eq} $ del tuo pseudo-campione a, diciamo, $ 10 $ , che restituisce $ \ alpha = 1.25 $ e $ \ beta = 8.75 $ per la tua precedente distribuzione beta. La distribuzione a posteriori è $ \ mathrm {Beta} (3,25, 24,75) $ con una media di circa $ 0,116 $ . La media a posteriori è ora vicina alla media dei tuoi dati ( $ 0.111 $ ) perché i dati sopraffanno il precedente. Ecco il grafico che mostra la situazione:
Un metodo più avanzato per incorporare le informazioni precedenti sarebbe dire che il quantile $ 0,025 $ della tua distribuzione beta precedente dovrebbe essere di circa $ 0,05 $ e il $ 0,975 $ quantile dovrebbe essere di circa $ 0,2 $ . Ciò equivale a dire che sei sicuro al 95% che la percentuale di mancini nella popolazione è compresa tra il 5% e il 20%. La funzione beta.select nel pacchetto R LearnBayes calcola il corrispondente $ \ alpha $ e $ \ beta $ valori di una distribuzione beta corrispondente a tali quantili. Il codice è
library(LearnBayes) quantile1=list(p=.025, x=0.05) # the 2.5% quantile should be 0.05 quantile2=list(p=.975, x=0.2) # the 97.5% quantile should be 0.2 beta.select(quantile1, quantile2) [1] 7.61 59.13 Sembra che una distribuzione beta con parametri $ \ alpha = 7.61 $ e $ \ beta = 59.13 $ ha le proprietà desiderate. La media precedente è $ 7,61 / (7.61 + 59,13) \ circa 0,114 $ che è vicino alla media dei tuoi dati ( $ 0,111 $ ). Di nuovo, questa distribuzione precedente incorpora le informazioni di uno pseudo-campione di una dimensione del campione equivalente di circa $ n_ {eq} \ approx 7.61 + 59.13 \ approx 66.74 $ . La distribuzione a posteriori è $ \ mathrm {Beta} (9.61, 75.13) $ con una media di $ 0,113 $ che è paragonabile alla media dellanalisi precedente utilizzando un $ \ mathrm {Beta} (125, 875) $ altamente informativo. Ecco il grafico corrispondente:
Vedi anche questo riferimento per una breve ma imho buona panoramica del ragionamento bayesiano e della semplice analisi. Unintroduzione più lunga per le analisi dei coniugati, specialmente per i dati binomiali, è disponibile qui . Unintroduzione generale al pensiero bayesiano è disponibile qui . Altre diapositive riguardanti aspetti delle statistiche baysiane sono qui .
Commenti
- Perché scegliamo la distribuzione Beta qui?
- @Metallica Il motivo principale è che la Beta è il coniugato precedente della distribuzione binomiale. Ciò significa che se scegliamo un Beta come precedente, anche il posteriore sarà Beta. Ulteriori motivi sono che la Beta è compresa tra 0 e 1 ed è molto flessibile. Include luniforme, per esempio. Ma qualsiasi distribuzione corretta con supporto in $ (0,1) $ può essere utilizzata come precedente. È ‘ solo che il posteriore è più difficile da calcolare.
- Se i grafici sono tracciati con R? Aggiungerebbe i codici R per generare i grafici sopra? Sono davvero utili. Grazie!
- Pensavo che un precedente privo di informazioni sarebbe stato Jeffrey ‘ s $ \ alpha = \ beta = \ frac 1 2 $ … perché pensi non è il caso?
- @meduz A rigor di termini, non esiste un vero ” non informativo ” precedente. Vorrei rimandarti alleccellente risposta di Tim su questa discussione.
Risposta
Una distribuzione beta con $ \ alpha $ = 1 e $ \ beta $ = 1 è uguale a una distribuzione uniforme. Quindi è in effetti uniformativo. Stai cercando di trovare informazioni su un parametro di una distribuzione (in questo caso, percentuale di mancini in un gruppo di persone). La formula di Bayes afferma:
$ P (r | Y_ {1, …, n}) $ = $ \ frac {P (Y_ {1, …, n} | r) * P (r)} {\ int P (Y_ {1, …, n} | \ theta) * P (r)} $
che hai indicato è proporzionale a:
$ P (r | Y_ {1, …, n}) $ $ \ propto $ $ (Y_ {1, …, n} | r) * P (r) $
Quindi fondamentalmente stai iniziando con la tua precedente convinzione della proporzione di mancini nel gruppo (P (r), per cui stai usando una dist uniforme), quindi considerando i dati che raccogli per informare il tuo precedente (un binomio in questo caso. O sei destrorso o mancino, quindi $ P (Y_ { 1, …, n} | r) $). Una distribuzione binomiale ha un coniugato beta precedente, il che significa che la distribuzione a posteriori $ P (r | Y_ {1, … n}) $, la distribuzione del parametro dopo aver considerato i dati è nella stessa famiglia del precedente. r qui non è sconosciuto alla fine. (e francamente non era prima di raccogliere i dati. Abbiamo una buona idea della proporzione di mancini nella società.) Hai sia la distribuzione precedente (la tua ipotesi di r) che hai raccolto i dati e metti insieme i due. Il posteriore è la tua nuova ipotesi sulla distribuzione dei mancini dopo aver considerato i dati. Quindi prendi la probabilità dei dati e moltiplicali per ununiforme. Il valore atteso di una distribuzione beta (che è ciò che è il poster) è $ \ frac {\ alpha} {\ alpha + \ beta} $. Quindi, quando hai iniziato, la tua ipotesi con $ \ alpha $ = 1 e $ \ beta $ = 1 era che la proporzione di mancini nel mondo fosse $ \ frac {1} {2} $. Ora hai raccolto dati che hanno 2 mancini su 18. Hai calcolato un posteriore. (ancora una versione beta) I tuoi valori $ \ alpha $ e $ \ beta $ sono ora diversi, cambiando la tua idea della proporzione di mancini rispetto a diritti. come è cambiato?
Risposta
Nella prima parte della tua domanda ti chiede di definire un opportuno precedente per “r “. Con i dati binomiali in mano sarebbe saggio scegliere una distribuzione beta. Perché allora il posteriore sarà una beta. Essendo la distribuzione Uniforme un caso speciale di beta, è possibile scegliere prima per “r” la distribuzione Uniforme consentendo ad ogni possibile valore di “r” di essere ugualmente probabile.
Nella seconda parte si è fornito il informazioni riguardanti la distribuzione precedente “r”.
Con questo in mano la risposta di @COOLSerdash “ti darà le giuste indicazioni.
Grazie per aver pubblicato questa domanda e COOLSerdash per aver fornito una risposta adeguata.