I en grupp studenter finns det 2 av 18 som är vänsterhänt. Hitta den bakre fördelningen av vänsterhänta studenter i befolkningen under antagande att den är informativ tidigare. Sammanfatta resultaten. Enligt litteraturen är 5-20% av människor vänsterhänta. Ta hänsyn till denna information i din tidigare och beräkna nya posterior.
Jag vet att beta-distributionen ska användas här. Först med $ \ alpha $ och $ \ beta $ värden som 1? Ekvationen jag hittade i materialet för bakre är
$$ \ pi (r \ vert Y) \ propto r ^ {(Y + −1)} \ gånger (1 – r) ^ {(N − Y + −1)} \\ $$
$ Y = 2 $ , $ N = 18 $
Varför är det $ r $ i ekvation? ( $ r $ som anger andelen vänsterhänta personer). Det är okänt, så hur kan det vara i denna ekvation? För mig verkar det löjligt att beräkna $ r $ givet $ Y $ och använda den $ r $ i ekvationen som ger $ r $ . Med provet $ r = 2/18 $ blev resultatet $ 0,0019 $ . $ f $ ska jag dra slutsatsen från det?
Ekvationen som ger ett förväntat värde på $ R $ givet känd $ Y $ och $ N $ fungerade bättre och gav mig $ 0,15 $ vilket låter ungefär rätt. Ekvationen är $ E (r | X, N, α, β) = (α + X) / (α + β + N) $ med värdet $ 1 $ tilldelad $ α $ och $ β $ . Vilka värden ska jag ge $ α $ och $ β $ för att ta hänsyn till tidigare information?
Några tips skulle vara mycket uppskattade. En allmän föreläsning om tidigare och bakre fördelningar skulle inte heller skada (jag har vaga förståelse för vad de är men bara vaga) Tänk också på att jag inte är mycket avancerad statistiker (jag är faktiskt en statsvetare av min huvudsakliga bransch) så avancerad matematik kommer förmodligen att flyga över mitt huvud.
Kommentarer
- Titta på det här fråga och svar ?
- Frasen ” Hitta den bakre fördelningen av vänsterhänta studenter ” är ingen mening. Slumpmässiga variabler har fördelningar och ” vänsterhänta studenter ” är inte ’ ta rv Jag antar att du tänker ” Hitta den bakre fördelningen av andelen vänsterhänta studenter ”. Det ’ är viktigt att inte glänsa över sådana detaljer utan att vara tydlig om vad du ’ faktiskt talar om.
- När du läser din fråga verkar det som om ditt problem inte är ’ t så mycket Bayesisk statistik som att helt enkelt förstå sannolikhetsfördelningar; det ’ s alltid så att argumentet för en distributionsfunktion (eller en sannolikhetsfunktion som du har där) är en funktion av ett okänt (slumpmässigt variabel). Att ’ är helt poängen med dem.
- Kommentarer är inte för längre diskussion; den här konversationen har flyttats till chatt .
Svar
Låt mig först förklara vad en konjugat före är. Jag kommer sedan att förklara Bayesian-analyserna med ditt specifika exempel. Bayesisk statistik innefattar följande steg:
- Definiera tidigare distribution som innehåller din subjektiva tro på en parameter (i ditt exempel är parametern av intresse andelen vänster- handers). Den föregående kan vara ”uninformativ” eller ”informativ” (men det finns ingen prior som inte har någon information, se diskussionen här ).
- Samla in data.
- Uppdatera din tidigare distribution med data med Bayes ”-sats för att få en posterior fördelning. Den bakre fördelningen är en sannolikhetsfördelning som representerar din uppdaterade tro på parametern efter att ha sett data.
- Analysera den bakre fördelningen och sammanfatta den (medelvärde, median, sd, kvantiler, …).
Grunden för all bayesisk statistik är Bayes ”teorem, vilket är
$$ \ mathrm {posterior} \ propto \ mathrm {prior} \ times \ mathrm {likelihood} $$
I ditt fall är sannolikheten binomiell. Om den tidigare och den bakre fördelningen finns i samma familj, det föregående och det bakre kallas konjugat -fördelningar. Betafördelningen är en konjugat tidigare eftersom den bakre är också en beta-fördelning. Vi säger att beta-fördelningen är konjugatfamiljen för binomial sannolikhet Konjugatanalyser är praktiska men förekommer sällan i verkliga problem. I de flesta fall måste den bakre fördelningen hittas numeriskt via MCMC (med Stan, WinBUGS, OpenBUGS, JAGS, PyMC eller något annat program).
Om den tidigare sannolikhetsfördelningen inte integreras till 1 kallas den en felaktig föregående, om den integreras till 1 kallas den en rätt tidigare. , en olämplig pri eller utgör inte ett stort problem för Bayesian-analyser. Den bakre fördelningen måste dock vara korrekt, dvs. den bakre fördelningen måste integreras till 1.
Dessa tumregler följer direkt av den Bayesianska analysproceduren:
- Om det föregående är oinformativt, bestäms det bakre väldigt mycket av data (det bakre är datadrivet)
- Om det föregående är informativt är det bakre en blandning av föregående och data
- Ju mer informativ den tidigare, desto mer data behöver du för att ”ändra” din tro, så att säga eftersom den bakre drivs mycket av den tidigare informationen
- Om du har mycket data, data kommer att dominera den bakre fördelningen (de kommer att överväldiga den tidigare)
En utmärkt översikt över några möjliga ”informativa” och ”uninformativa” priors för beta-distributionen kan finns i det här inlägget .
Säg att din tidigare beta är $ \ mathrm {Beta} (\ pi_ {LH} | \ alpha, \ beta) $ där $ \ pi_ {LH} $ är andelen vänsterhänta. För att specificera de tidigare parametrarna $ \ alpha $ och $ \ beta $ , är det bra att veta medelvärdet och varians i beta-fördelningen (till exempel om du vill att din tidigare ska ha ett visst medelvärde och varians). Medelvärdet är $ \ bar {\ pi} _ {LH} = \ alpha / (\ alpha + \ beta) $ . När $ \ alpha = \ beta $ är alltså medelvärdet $ 0,5 $ . Betadistributionens varians är $ \ frac {\ alpha \ beta} {(\ alpha + \ beta) ^ {2} (\ alpha + \ beta + 1)} $ . Nu är det praktiska att du kan tänka på $ \ alpha $ och $ \ beta $ som tidigare observerade (pseudo-) data, nämligen $ \ alpha $ vänsterhänta och $ \ beta $ höger- delas ut ur ett (pseudo-) prov av storlek $ n_ {eq} = \ alpha + \ beta $ . $ \ mathrm {Beta} (\ pi_ {LH} | \ alpha = 1, \ beta = 1) $ fördelningen är enhetlig (alla värden för $ \ pi_ {LH} $ är lika troliga) och motsvarar att ha observerat två personer varav en är vänsterhänt och en är högerhänt.
Den bakre beta-distributionen är helt enkelt $ \ mathrm {Beta} (z + \ alpha, N – z + \ beta) $ där $ N $ är storleken på provet och $ z $ är antalet vänsterhänta i provet. Det bakre medelvärdet av $ \ pi_ {LH} $ är därför $ (z + \ alpha) / (N + \ alpha + \ beta) $ . Så för att hitta parametrarna för den bakre beta-distributionen lägger vi helt enkelt till $ z $ vänsterhänta till $ \ alpha $ och $ Nz $ högerhänta till $ \ beta $ . Den bakre variansen är $ \ frac {(z + \ alpha) (N-z + \ beta)} {(N + \ alpha + \ beta) ^ {2} (N + \ alpha + \ beta + 1)} $ . Observera att en mycket informativ prior leder också till en mindre variation i den bakre fördelningen (diagrammen nedan illustrerar punkten snyggt).
I ditt fall $ z = 2 $ och $ N = 18 $ och din tidigare är uniformen som är informativ, så $ \ alpha = \ beta = 1 $ . Din bakre fördelning är därför $ Beta (3, 17) $ . Det bakre medelvärdet är $ \ bar {\ pi} _ {LH} = 3 / (3 + 17) = 0,15 $ .Här är en graf som visar den tidigare, sannolikheten för data och den bakre
Du ser att eftersom din tidigare distribution är uninformativ, drivs din bakre distribution helt av data. Det högsta densitetsintervallet (HDI) för den bakre fördelningen ritas också. Tänk dig att du placerar din bakre fördelning i ett 2D-bassäng och börjar fylla i vatten tills 95% av fördelningen ligger över vattenlinjen. De punkter där vattenlinjen korsar sig med den bakre fördelningen utgör 95% -HDI. Varje punkt inuti HDI har högre sannolikhet än någon punkt utanför den. HDI inkluderar också alltid toppen av den bakre fördelningen (dvs. läget). HDI skiljer sig från ett lika tailed 95% trovärdigt intervall där 2,5% från varje svans i bakre delen undantas (se här ).
För din andra uppgift ombads du att ta med informationen om att 5-20% av befolkningen är vänsterhänta. Det finns flera sätt att göra det. Det enklaste sättet är att säga att den tidigare betadistributionen borde ha ett medelvärde av $ 0,125 $ vilket är medelvärdet av $ 0,05 $ och $ 0,2 $ . Men hur man väljer $ \ alpha $ och $ \ beta $ av den tidigare beta-distributionen? Först vill du att ditt medelvärde för den tidigare distributionen ska vara $ 0,125 $ ur ett pseudoprov med motsvarande provstorlek $ n_ {eq} $ . Mer allmänt, om du vill att din tidigare ska ha ett medelvärde $ m $ med en pseudo-provstorlek $ n_ {eq} $ , motsvarande $ \ alpha $ och $ \ beta $ värden är: $ \ alpha = mn_ {eq} $ och $ \ beta = (1-m) n_ {eq} $ . Allt du behöver göra nu är att välja pseudo-provstorlek $ n_ {eq} $ som avgör hur säker du är på din tidigare information. Låt oss säga att du är mycket säker på din tidigare information och ställa in $ n_ {eq} = 1000 $ . Parametrarna för din tidigare distribution finns där $ \ alpha = 0.125 \ cdot 1000 = 125 $ och $ \ beta = (1 – 0.125) \ cdot 1000 = 875 $ Den bakre fördelningen är $ \ mathrm {Beta} (127, 891) $ med ett medelvärde på cirka $ 0,125 $ vilket är praktiskt taget detsamma som det tidigare medelvärdet för $ 0,125 $ . Den tidigare informationen dominerar den bakre (se följande graf):
Om du är mindre säker på den tidigare informationen kan du ställa in $ n_ {eq} $ av ditt pseudo-exempel för att säga $ 10 $ , vilket ger $ \ alpha = 1,25 $ och $ \ beta = 8,75 $ för din tidigare beta-distribution. Den bakre fördelningen är $ \ mathrm {Beta} (3.25, 24.75) $ med ett medelvärde på cirka $ 0.116 $ . Det bakre medelvärdet är nu nära medelvärdet för dina data ( $ 0.111 $ ) eftersom uppgifterna överväldiger föregående. Här är diagrammet som visar situationen:
En mer avancerad metod för att införliva den tidigare informationen skulle vara att säga att $ 0,025 $ kvantilen av din tidigare beta-distribution skulle vara ungefär $ 0,05 $ och $ 0,975 $ kvantilen bör vara ungefär $ 0,2 $ . Detta motsvarar att du är 95% säker på att andelen vänsterhänta i befolkningen ligger mellan 5% och 20%. Funktionen beta.select i R-paketet LearnBayes beräknar motsvarande $ \ alpha $ och $ \ beta $ värden för en betafördelning som motsvarar sådana kvantiteter. Koden är
library(LearnBayes) quantile1=list(p=.025, x=0.05) # the 2.5% quantile should be 0.05 quantile2=list(p=.975, x=0.2) # the 97.5% quantile should be 0.2 beta.select(quantile1, quantile2) [1] 7.61 59.13 Det verkar som om en beta-distribution med parametrar $ \ alpha = 7,61 $ och $ \ beta = 59.13 $ har önskade egenskaper. Det tidigare medelvärdet är $ 7,61 / (7.61 + 59,13) \ ca 0,114 $ vilket är nära medelvärdet för dina data ( $ 0.111 $ ). Återigen innefattar denna tidigare distribution informationen för ett pseudoprov med en ekvivalent provstorlek på cirka $ n_ {eq} \ ca 7,61 + 59,13 \ ca 66,74 $ . Den bakre fördelningen är $ \ mathrm {Beta} (9.61, 75.13) $ med ett medelvärde på $ 0.113 $ vilket är jämförbart med medelvärdet av den tidigare analysen med en mycket informativ $ \ mathrm {Beta} (125, 875) $ tidigare. Här är motsvarande graf:
Se även denna referens för en kort men imho bra översikt över Bayesian resonemang och enkel analys. En längre introduktion för konjugatanalyser, särskilt för binomiala data, finns här . En allmän introduktion till bayesiskt tänkande finns här . Fler bilder som rör aspekter av Baysian-statistik finns här .
Kommentarer
- Varför väljer vi Betadistribution här?
- @Metallica Den främsta anledningen är att Beta är konjugat före av binomialfördelningen. Detta innebär att om vi väljer en Beta som tidigare kommer den bakre också att vara Beta. Ytterligare skäl är att Beta är mellan 0 och 1 och är mycket flexibelt. Den inkluderar till exempel uniformen. Men vilken korrekt distribution som helst med support i $ (0,1) $ kan användas som tidigare. Det ’ är bara att det bakre är svårare att beräkna.
- Om graferna ritas med R? Vill du lägga till R-koder för att generera ovanstående diagram? De är verkligen hjälpsamma. Tack!
- Jag trodde att en uninformativ prior skulle vara Jeffrey ’ s tidigare $ \ alpha = \ beta = \ frac 1 2 $ … varför tror du är det inte fallet?
- @meduz Strängt taget finns det ingen verklig ” uninformativ ” tidigare. Jag vill hänvisa till det utmärkta svaret av Tim om denna diskussion.
Svar
En beta-distribution med $ \ alpha $ = 1 och $ \ beta $ = 1 är densamma som en enhetlig fördelning. Så det är faktiskt enhetligt. Du försöker hitta information om en parameter för en distribution (i det här fallet procentandel av vänsterhänta personer i en grupp människor). Bayes-formeln säger:
$ P (r | Y_ {1, …, n}) $ = $ \ frac {P (Y_ {1, …, n} | r) * P (r)} {\ int P (Y_ {1, …, n} | \ theta) * P (r)} $
som du påpekade är proportionell mot:
$ P (r | Y_ {1, …, n}) $ $ \ propto $ $ (Y_ {1, …, n} | r) * P (r) $
Så i grund och botten börjar du med din tidigare tro på andelen vänsterhänta i gruppen (P (r), som du använder en enhetlig dist för), med tanke på de uppgifter som du samlar in för att informera din tidigare (en binomial i det här fallet. Antingen är du höger- eller vänsterhänt, så $ P (Y_ { 1, …, n} | r) $). En binomial distribution har ett beta-konjugat före, vilket innebär att den bakre fördelningen $ P (r | Y_ {1, … n}) $, fördelningen av parametern efter att ha beaktat data är i samma familj som den tidigare. här är inte okänt i slutändan. (och uppriktigt sagt var det inte innan vi samlade in data. vi har fått en ganska bra uppfattning om andelen vänsterhänta i samhället.) Du har fått både den tidigare distributionen (ditt antagande om r) och du har samlat in data och sätta ihop de två. Det bakre är ditt nya antagande om fördelningen av vänsterhänta efter att ha beaktat uppgifterna. Så du tar sannolikheten för data och multiplicerar den med en enhetlig. Det förväntade värdet av en beta-distribution (vilket är affischen) är $ \ frac {\ alpha} {\ alpha + \ beta} $. Så när du började var ditt antagande med $ \ alpha $ = 1 och $ \ beta $ = 1 att andelen vänsterhänder i världen var $ \ frac {1} {2} $. Nu har du samlat in data som har två kvar av 18. Du har beräknat en posterior. (fortfarande en beta) Dina $ \ alpha $ och $ \ beta $ värden är nu annorlunda, vilket ändrar din uppfattning om andelen vänster mot höger. hur har det förändrats?
Svar
I den första delen av din fråga ber den dig att definiera en lämplig prior för ”r ”. Med binomial data i handen skulle det vara klokt att välja en beta-distribution. För då blir den bakre en beta. Enhetlig fördelning är ett speciellt fall av beta, du kan tidigare välja ”enhetlig” fördelning så att alla möjliga värden på ”r” kan vara lika troliga.
I den andra delen har du tillhandahållit information om den tidigare distributionen ”r”.
Med detta i handen kommer @COOLSerdashs svar att ge dig rätt vägbeskrivning.
Tack för att du har lagt upp den här frågan och COOLSerdash för att du har svarat ordentligt.