Bootstrapping vs Bayesian Bootstrapping fogalmilag?

A (gyakori) bootstrap az adatokat ésszerű közelítésnek tekinti az ismeretlen populációeloszláshoz. Ezért a statisztika mintavételi eloszlása (az adatok függvénye) megközelíthető úgy, hogy a megfigyeléseket ismételten újravizsgálja helyettesítéssel, és kiszámítja az egyes minták statisztikáit.

Jelölje $ y = (y_1, \ ldots, y_n) $ az eredeti adatot (A megadott példában $ n = 5 $ ). Jelölje a $ y ^ b = (y_1 ^ b, \ ldots, y_n ^ b) $ egy bootstrap mintát. Egy ilyen mintán valószínűleg néhány megfigyelést megismételnek egyszer vagy többször, és más megfigyelések hiányoznak. A bootstrap minta átlagát a $$ m_b = \ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ b. $$ adja meg. A $ m_b $ elosztása számos bootstrap-replikáción keresztül használható az mintavételi eloszlás közelítésére az ismeretlen populációból.

hogy megismerjük a gyakoriságú bootstrap és a Bayes-féle bootstrap kapcsolatát, tanulságos látni, hogyan lehet más szempontból kiszámítani a $ m_b $ -ot.

Az egyes bootstrap mintákban $ y ^ b $ minden megfigyelés $ y_i $ 0 és $ n $ alkalommal bárhol előfordul. Jelölje $ h_i ^ b $ azt, hogy $ y_i $ hányszor fordul elő $ y ^ b $ , és engedje meg, hogy $ h ^ b = (h_1 ^ b, \ ldots, h_n ^ b) $ . Így $ h_i ^ b \ \ {0, 1, \ ldots, n-1, n \} $ és $ \ sum_ {i = 1} ^ n h_i ^ b = n $ . Adva a $ h ^ b $ -ot, elkészíthetjük a nem negatív súlyok gyűjteményét, amelyek összege egy: $ w ^ b = h ^ b / n $ , ahol $ w_i ^ b = h_i ^ b / n $ . Ezzel a jelöléssel újból kifejezhetjük a bootstrap minta átlagát: $$ m_b = \ sum_ {i = 1} ^ n w_i ^ b \, y_i. $$

Az a mód, ahogy a megfigyeléseket egy bootstrap mintához választják, meghatározza a $ w ^ b $ közös eloszlását. Különösen a $ h ^ b $ multinomiális eloszlású, így $$ (n \, w ^ b) \ sim \ textf {Multinomial} (n, (1 / n) _ {i = 1} ^ n). $$ Ezért kiszámíthatjuk a $ m_b $ úgy, hogy levonja a terjesztéséből a $ w ^ b $ elemet, és kiszámítja a dot terméket a $ y $ segítségével. Ebből az új szempontból úgy tűnik, hogy a megfigyelések rögzítettek , miközben a súlyok változnak.

Bayesi következtetésben a megfigyeléseket valóban rögzítettnek tekintik, ezért ez az új perspektíva kongeniálisnak tűnik a bayesi megközelítés szempontjából. Valójában a Bayes-féle bootstrap szerinti átlag kiszámítása csak a súlyok eloszlásában tér el. (Mindazonáltal fogalmi szempontból a Bayes-i bootstrap teljesen különbözik a gyakoriak változatától.) Az adatok $ y $ rögzülnek, a súlyok pedig $ w $ az ismeretlen paraméterek. Érdekelhet néhány ismeretlen paramétertől függő funkcionális adat: $$ \ mu = \ sum_ {i = 1} ^ n w_i \ , y_i.$$

Itt található a Bayes-bootstrap mögött álló modell miniatűr vázlata: A megfigyelések mintavételi eloszlása többnévi, a súlyok előtti pedig egy korlátozó Dirichlet-eloszlás, amely minden súlyát megadja a szimplex csúcsain. (Egyes szerzők ezt a modellt többnemű valószínűségi modell nek nevezik.)

Ez a modell a következő hátsó eloszlást eredményezi a súlyok számára: $ $ w \ sim \ textf {Dirichlet} (1, \ ldots, 1). $$ (Ez az eloszlás lapos a szimplex fölött.) A súlyok két eloszlása (a gyakoriság és a Bayes-féle) meglehetősen hasonló: Ugyanolyan átlagokkal és hasonló kovarianciákkal rendelkeznek. A Dirichlet disztribúció “simább”, mint a multinomiális disztribúció, ezért a Bayes-i bootstrap hívható a simított bootstrap-nak. Értelmezhetjük a gyakoriságú bootstrap-ot a bayesi bootstrap közelítésének.

Tekintettel a súlyok hátsó eloszlására, a $ \ mu $ funkcionális $ \ mu $ hátsó eloszlását megismételhetjük ismételt mintavételezéssel $ w $ Dirichlet terjesztéséből, és a dot termék kiszámítása a $ y $ segítségével.

Elfogadhatjuk az egyenletek becslésének keretrendszere $$ \ sum_ {i = 1} ^ n w_i \, g (y_i, \ theta) = \ aláhúzás 0, $$ ahol a $ g (y_i, \ theta) $ az ismeretlen paramétertől (vektortól) függő becslő függvények vektora A $ \ theta $ és a $ \ underline 0 $ nulla vektor. Ha ennek az egyenletrendszernek egyedi megoldása van a $ \ theta $ számára adott $ y $ és $ w $ , akkor kiszámíthatjuk annak hátsó eloszlását úgy, hogy $ w $ levonunk a hátsó eloszlásból és kiértékeljük ezt a megoldást. (Az egyenletek becslésének keretrendszerét empirikus valószínűséggel és általánosított pillanat-módszerrel (GMM) alkalmazzák.)

A legegyszerűbb eset az, amellyel már foglalkoztunk: $$ \ sum_ {i = 1} ^ n w_i \, (y_i – \ mu) = 0. $$ Az átlag és a variancia esetében $ \ theta = (\ mu, v) $ van $$ g (y_i, \ theta) = \ begin {pmatrix} y_i – \ mu \\ (y_i – \ mu) ^ 2 – v \ end {pmatrix}. $$ A beállítás egy kicsit jobban érintett, mint a gyakoriságú bootstrap esetében, ezért lehet, hogy egy bayesi-i gyors közelítésként elfogadja a gyakoriságú bootstrap-ot.

Megjegyzések

• Köszönöm a nagyon részletes leírást. Személy szerint nagyra értékelném egy rövid megfogalmazást arról, hogy mikor érdemes mindegyiket választani.
• Nem lapos hátulról van-e furcsa a választás '? Arra számítottam volna, hogy lapos eloszlás várható, nem pedig utólagos. Nem tudtam ' találni erről vitát. Van észrevétele?
• @Blade – Szerintem a lapos hátsó rész érvényes, mert az összes megfigyelt adatpontot egyformán valószínű választani. ' még mindig megpróbálom magam körülfogni a fejem, de ez segíthet: sumsar.net/blog/2015/ 04 / …
• @MattWenham Tehát a prior választása furcsa, és ezt maga Rubin is megjegyzi. A prior választása úgy van beállítva, hogy a hátsó része utánozza a klasszikus bootstrap-ot. ' nem mintha ' nem érvényes, csak ' nem sok posterior, ha ' lapos eloszlású. Azt várhatja, hogy egy utólagos információ némi megfigyelés alapján adjon Önnek, de itt van az a feltételezés, hogy az adatkészlet összes megkülönböztető értékét betartották.