Ajută-mă să înțeleg distribuțiile bayesiene anterioare și posterioare

Permiteți-mi să vă explic mai întâi ce este un anterior conjugat . Voi explica apoi analizele bayesiene folosind exemplul dvs. specific. Statisticile bayesiene implică următorii pași:

1. Definiți distribuția anterioară care încorporează convingerile dvs. subiective despre un parametru (în exemplul dvs. parametrul de interes este proporția stânga- handers). Priorul poate fi „neinformativ” sau „informativ” (dar nu există niciun prior care să nu aibă informații, consultați discuția aici ).
2. Adunați date.
3. Actualizați distribuția anterioară cu datele folosind teorema Bayes pentru a obține o distribuție posterioară. Distribuția posterioară este o distribuție de probabilitate care reprezintă convingerile dvs. actualizate despre parametru după ce ați văzut datele.
4. Analizați distribuția posterioară și rezumați-o (medie, mediană, sd, cuantile, …).

Baza tuturor statisticilor bayesiene este teorema lui Bayes, care este

$$ \ mathrm {posterior} \ propto \ mathrm {prior} \ times \ mathrm {probabilitate} $$

În cazul dvs., probabilitatea este binomială. Dacă distribuția anterioară și posterioară sunt în aceeași familie, anterioară și posterioară sunt denumite distribuții conjugate . Distribuția beta este o anterioară conjugată, deoarece posterioară este și o distribuție beta. Spunem că distribuția beta este familia conjugată pentru probabilitatea binomială . Analizele conjugate sunt convenabile, dar rareori apar în problemele din lumea reală. În majoritatea cazurilor, distribuția posterioară trebuie găsită numeric prin MCMC (folosind Stan, WinBUGS, OpenBUGS, JAGS, PyMC sau alt program).

Dacă distribuția de probabilitate anterioară nu se integrează la 1, se numește impropriu anterior, dacă se integrează la 1 se numește adecvat anterior. În majoritatea cazurilor , un pri impropriu sau nu pune o problemă majoră pentru analizele bayesiene. Distribuția posterioară trebuie să fie corectă, adică posterioară trebuie să se integreze în 1.

Aceste reguli generale urmează direct din natura procedurii de analiză bayesiană:

• Dacă priorul este neinformativ, posteriorul este foarte mult determinat de date (posteriorul este bazat pe date)
• Dacă priorul este informativ, posteriorul este un amestec de prior și datele
• Cu cât este mai informativ anterior, cu atât aveți nevoie de mai multe date pentru a vă „schimba” convingerile, ca să spunem așa, deoarece partea posterioară este foarte mult determinată de informațiile anterioare
• Dacă au o mulțime de date, datele vor domina distribuția posterioară (vor copleși precedentul)

O imagine de ansamblu excelentă asupra unor posibile priorități „informative” și „neinformative” pentru distribuția beta poate găsiți în această postare .

Spuneți că versiunea beta anterioară este $ \ mathrm {Beta} (\ pi_ {LH} | \ alpha, \ beta) $ unde $ \ pi_ {LH} $ este proporția de stângaci. Pentru a specifica parametrii anteriori $ \ alpha $ și $ \ beta $ , este util să cunoașteți media și varianța distribuției beta (de exemplu, dacă doriți ca înainte să aibă o anumită medie și varianță). Media este $ \ bar {\ pi} _ {LH} = \ alpha / (\ alpha + \ beta) $ . Astfel, ori de câte ori $ \ alpha = \ beta $ , media este $ 0,5 $ . Varianța distribuției beta este $ \ frac {\ alpha \ beta} {(\ alpha + \ beta) ^ {2} (\ alpha + \ beta + 1)} $ . Acum, lucrul convenabil este că vă puteți gândi la $ \ alpha $ și la $ \ beta $ ca anterior (pseudo-) date observate, și anume $ \ alpha $ stângaci și $ \ beta $ dreapta- handers dintr-un (pseudo-) eșantion de dimensiune $ n_ {eq} = \ alpha + \ beta $ . Distribuția $ \ mathrm {Beta} (\ pi_ {LH} | \ alpha = 1, \ beta = 1) $ este uniformă (toate valorile din $ \ pi_ {LH} $ sunt la fel de probabile) și este echivalentul observării a două persoane dintre care una este stângaci și una este dreaptă.

Distribuția beta posterioară este pur și simplu $ \ mathrm {Beta} (z + \ alpha, N – z + \ beta) $ unde $ N $ este dimensiunea eșantionului și $ z $ este numărul de stângaci din eșantion. Media posterioară a $ \ pi_ {LH} $ este, prin urmare, $ (z + \ alpha) / (N + \ alpha + \ beta) $ . Deci, pentru a găsi parametrii distribuției beta posterioare, adăugăm pur și simplu $ z $ stângaci la $ \ alpha $ și $ Nz $ dreapta către $ \ beta $ . Varianța posterioară este $ \ frac {(z + \ alpha) (N-z + \ beta)} {(N + \ alpha + \ beta) ^ {2} (N + \ alpha + \ beta + 1)} $ . Rețineți că o prioritate extrem de informativă duce la o varianță mai mică a distribuției posterioare (graficele de mai jos ilustrează frumos punctul).

În cazul dvs., $ z = 2 $ și $ N = 18 $ și priorul dvs. este uniforma care nu este informativă, deci $ \ alpha = \ beta = 1 $ . Distribuția dvs. posterioară este, prin urmare, $ Beta (3, 17) $ . Media posterioară este $ \ bar {\ pi} _ {LH} = 3 / (3 + 17) = 0,15 $ .Iată un grafic care arată prioritatea, probabilitatea datelor și posterioara

Vedeți că, deoarece distribuția dvs. anterioară nu este informativă, distribuția dvs. posterioară este în întregime condusă de date. De asemenea, este reprezentat cel mai mare interval de densitate (HDI) pentru distribuția posterioară. Imaginați-vă că ați pus distribuția posterioară într-un bazin 2D și începeți să umpleți apă până când 95% din distribuție este deasupra liniei de plutire. Punctele în care linia de plutire se intersectează cu distribuția posterioară constituie 95% -HDI. Fiecare punct din interiorul HDI are o probabilitate mai mare decât orice punct din afara acestuia. De asemenea, HDI include întotdeauna vârful distribuției posterioare (adică modul). IDU este diferit de un interval credibil egal cu 95%, în care sunt excluși 2,5% din fiecare coadă a posteriorului (vezi aici ).

Pentru cea de-a doua sarcină, vi se solicită să includeți informațiile conform cărora 5-20% din populație este stângaci. Există mai multe moduri de a face acest lucru. Cel mai simplu este să spuneți că distribuția beta anterioară ar trebui să aibă o medie de 0,125 $ $ , care este media de 0,05 $ $ și $ 0.2 $ . Dar cum să alegeți $ \ alpha $ și $ \ beta $ din distribuția beta anterioară? Mai întâi, doriți ca media distribuției anterioare să fie 0,125 $ $ dintr-un pseudo-eșantion de dimensiune echivalentă a eșantionului $ n_ {eq} $ . Mai general, dacă doriți ca înainte să aveți o medie $ m $ cu o dimensiune pseudo-eșantion $ n_ {eq} $ , $ \ alpha $ corespunzător și Valorile $ \ beta $ sunt: $ \ alpha = mn_ {eq} $ și $ \ beta = (1-m) n_ {eq} $ . Tot ce rămâne să faceți acum este să alegeți dimensiunea pseudo-eșantionului $ n_ {eq} $ care determină cât de încrezător sunteți cu privire la informațiile dvs. anterioare. Să spunem că sunteți foarte sigur cu privire la informațiile anterioare și setați $ n_ {eq} = 1000 $ . Parametrii distribuției dvs. anterioare sunt $ \ alpha = 0.125 \ cdot 1000 = 125 $ și $ \ beta = (1 – 0.125) \ cdot 1000 = 875 $ . Distribuția posterioară este $ \ mathrm {Beta} (127, 891) $ cu o medie de aproximativ 0,125 $ $ care este practic identic cu media anterioară a $ 0,125 $ . Informațiile anterioare domină partea posterioară (vezi următorul grafic):

Dacă sunteți mai puțin sigur cu privire la informațiile anterioare, puteți seta $ n_ {eq} $ din pseudo-eșantionul dvs., să zicem, $ 10 $ , care produce $ \ alpha = 1.25 $ și $ \ beta = 8.75 $ pentru distribuția beta anterioară. Distribuția posterioară este $ \ mathrm {Beta} (3,25, 24,75) $ cu o medie de aproximativ 0,166 $ $ . Media posterioară este acum aproape de media datelor dvs. ( 0,111 $ $ ), deoarece datele îl copleșesc pe cel anterior. Iată graficul care arată situația:

O metodă mai avansată de încorporare a informațiilor anterioare ar fi să spui că 0,025 $ cuantila distribuției beta anterioare ar trebui să fie de aproximativ 0,05 $ $ și 0,975 $ $ trebuie să fie de aproximativ 0,2 $ $ . Acest lucru echivalează cu a spune că sunteți 95% sigur că proporția stângacilor din populație se situează între 5% și 20%. Funcția beta.select din pachetul R LearnBayes calculează $ \ alpha $ span corespunzător > și $ \ beta $ valorile unei distribuții beta corespunzătoare unor astfel de cuantile. Codul este

library(LearnBayes) quantile1=list(p=.025, x=0.05) # the 2.5% quantile should be 0.05 quantile2=list(p=.975, x=0.2) # the 97.5% quantile should be 0.2 beta.select(quantile1, quantile2) [1] 7.61 59.13 

Se pare că o distribuție beta cu parametri $ \ alpha = 7.61 $ și $ \ beta = 59.13 $ are proprietățile dorite. Media anterioară este 7,61 USD / (7.61 + 59,13) \ aproximativ 0,114 $ , care este aproape de media datelor dvs. ( 0,111 $ $ ). Din nou, această distribuție anterioară încorporează informațiile unui pseudo-eșantion cu o dimensiune echivalentă a eșantionului de aproximativ $ n_ {eq} \ approx 7.61 + 59.13 \ approx 66.74 $ . Distribuția posterioară este $ \ mathrm {Beta} (9.61, 75.13) $ cu o medie de 0.113 $ $ ceea ce este comparabil cu media analizei anterioare folosind un $ \ mathrm {Beta} (125, 875) $ foarte informativ. Iată graficul corespunzător:

Consultați și această referință pentru o scurtă, dar imho bună prezentare a raționamentului bayesian și a analizei simple. O introducere mai lungă pentru analizele conjugate, în special pentru datele binomiale, poate fi găsită aici . O introducere generală în gândirea bayesiană poate fi găsită aici . Mai multe diapozitive referitoare la aspecte ale statisticilor Baysian sunt aici .

Comentarii

• De ce alegem distribuția beta aici?
• @Metallica Motivul principal este că Beta este conjugat anterior al distribuției binomiale. Aceasta înseamnă că, dacă alegem o versiune beta, anterior, și posteriorul va fi, de asemenea, beta. Alte motive sunt că Beta este între 0 și 1 și este foarte flexibil. Include, de exemplu, uniforma. Dar orice distribuție adecvată cu suport în $ (0,1) $ poate fi utilizată ca anterior. ‘ este doar că posteriorul este mai dificil de calculat.
• Dacă graficele sunt reprezentate cu R? Ați adăuga coduri R pentru a genera graficele de mai sus? Sunt cu adevărat de ajutor. Mulțumesc!
• Am crezut că un prior neinformativ va fi Jeffrey ‘ anterior $ \ alpha = \ beta = \ frac 1 2 $ … de ce crezi nu este cazul?
• @meduz Strict vorbind, nu există o ” reală neinformativă ” anterioară. Aș dori să vă trimit la excelentul răspuns de către Tim la această discuție.

O distribuție beta cu $ \ alpha $ = 1 și $ \ beta $ = 1 este aceeași cu o distribuție uniformă. Deci este, de fapt, uniformativ. Încercați să găsiți informații despre un parametru al unei distribuții (în acest caz, procentul de stângaci dintr-un grup de oameni). Formula Bayes precizează:

$ P (r | Y_ {1, …, n}) $ = $ \ frac {P (Y_ {1, …, n} | r) * P (r)} {\ int P (Y_ {1, …, n} | \ theta) * P (r)} $

pe care l-ați subliniat este proporțional cu:

$ P (r | Y_ {1, …, n}) $ $ \ propto $ $ (Y_ {1, …, n} | r) * P (r) $

Deci, practic, începeți cu credința anterioară a proporției stângacilor din grup (P (r), pentru care „folosiți o distanță uniformă), luând în considerare apoi datele pe care le colectați pentru a vă informa priorul (un binom în acest caz. Fie sunteți dreptaci, fie stângaci, deci $ P (Y_ { 1, …, n} | r) $). O distribuție binomială are un beta conjugat anterior, ceea ce înseamnă că distribuția posterioară $ P (r | Y_ {1, … n}) $, distribuția paramterului după luarea în considerare a datelor se află în aceeași familie ca precedentul. r aici nu este necunoscut la final. (și, sincer, nu a fost „înainte de a colecta datele. avem„ o idee destul de bună despre proporția stângacilor din societate.) Ați primit atât distribuția anterioară (presupunerea dvs. de r), cât și „ați colectat date și pune-i pe cei doi împreună. Posteriorul este noua dvs. presupunere a distribuției stângacilor după luarea în considerare a datelor. Deci, luați probabilitatea datelor și le multiplicați cu o uniformă. Valoarea așteptată a unei distribuții beta (care este posterul) este $ \ frac {\ alpha} {\ alpha + \ beta} $. Așadar, când ați început, presupunerea dvs. cu $ \ alpha $ = 1 și $ \ beta $ = 1 era că proporția stângacilor din lume era de $ \ frac {1} {2} $. Acum ați „colectat date care au 2 stânga din 18. Ați calculat un poster. (încă o versiune beta) Valorile dvs. $ \ alpha $ și $ \ beta $ sunt acum diferite, schimbându-vă ideea cu privire la proporția stângacilor vs. cum s-a schimbat?

În prima parte a întrebării dvs. vă cere să definiți o prioritate adecvată pentru „r „. Cu datele binomiale în mână, ar fi înțelept să alegeți o distribuție beta. Pentru că atunci posteriorul va fi beta. Distribuția uniformă fiind un caz special de beta, puteți alege înainte pentru „r” distribuirea uniformă, permițând ca fiecare valoare posibilă a „r” să fie la fel de probabilă.

În a doua parte ați furnizat cu informații referitoare la distribuția anterioară „r”.

Având acest lucru în mână, răspunsul @COOLSerdash vă va oferi indicațiile corecte.

Vă mulțumim că ați postat această întrebare și COOLSerdash pentru că ați oferit un răspuns adecvat.