Minulla on vaikeuksia ymmärtää, mikä on Bayesin käynnistysprosessointiprosessi, ja miten se poikkeaisi tavallisesta käynnistyksestäsi. Ja jos joku voisi tarjota intuitiivisen / molempien käsitteellinen tarkastelu ja vertailu, se olisi hienoa.
Otetaan esimerkki.
Sano, että meillä on tietojoukko X, joka on [1,2,5,7, 3].
Jos otamme korvaavalla otoksella useita kertoja luodaksemme X-koon mukaiset näytekoot (so, [7,7,2,5,7], [3,5,2,2,7] jne.), ja sitten lasketaan kunkin keskiarvo, onko näytteen käynnistyshihnan jakauma keskiarvo?
Mikä olisi Bayesian bootstrap -jakauma?
Ja miten muiden parametrien (varianssi jne.) bayesilainen bootstrap-jakelu tapahtuu samalla tavalla?
Kommentit
- Katso sumsar.net/blog/2015/04/… ja projecteuclid.org/euclid.aos/1176345338 , ehkä @ rasmus-b å å voi vastata sinulle;)
Vastaa
(Käynnistysvirhe) käynnistyshihna ottaa datan kohtuullisena arvioina tuntemattomaan populaatiojakaumaan. Siksi tilastojen otosjakauma (datan funktio) voidaan arvioida toistamalla havainnot toistuvasti korvaamalla ja laskemalla tilastotiedot jokaiselle näytteelle.
Merkitään $ y = (y_1, \ ldots, y_n) $ alkuperäisiä tietoja (Annetussa esimerkissä $ n = 5 $ ). Merkitään $ y ^ b = (y_1 ^ b, \ ldots, y_n ^ b) $ käynnistyshihnan näytettä. Tällaisessa näytteessä joitain havaintoja toistetaan todennäköisesti yksi tai useampi kerta, ja muita havaintoja ei ole. Käynnistyshihnan keskiarvon antaa $$ m_b = \ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ b. $$ $ m_b $ -jakaumaa useille käynnistyshihna-replikoinneille käytetään arvioimaan otosjakauma tuntemattomasta populaatiosta.
Jotta Jos haluat ymmärtää commonist-käynnistyshihnan ja Bayesin bootstrapin välisen yhteyden, on opettavaista nähdä, kuinka lasketaan $ m_b $ toisesta näkökulmasta.
Jokaisessa bootstrap-näytteessä $ y ^ b $ jokainen havainto $ y_i $ tapahtuu missä tahansa 0 – $ n $ kertaa. Määritä $ h_i ^ b $ merkitsemään $ y_i $ esiintymisten lukumäärä $ y ^ b $ ja anna $ h ^ b = (h_1 ^ b, \ ldots, h_n ^ b) $ . Siten $ h_i ^ b \ \ {0, 1, \ ldots, n-1, n \} $ ja $ \ sum_ {i = 1} ^ n h_i ^ b = n $ . Kun otetaan huomioon $ h ^ b $ , voimme rakentaa kokoelman ei-negatiivisia painoja , jotka summaavat yhteen: $ w ^ b = h ^ b / n $ , missä $ w_i ^ b = h_i ^ b / n $ . Tällä merkinnällä voimme ilmaista uudelleenkäynnistysnäytteen keskiarvon muodossa $$ m_b = \ sum_ {i = 1} ^ n w_i ^ b \, y_i. $$
Tapa, jolla havainnot valitaan käynnistyshihnan näytteelle, määrittää $ w ^ b $ : n yhteisen jakauman. Erityisesti $ h ^ b $ : lla on monikokoinen jakauma ja siten $$ (n \, w ^ b) \ sim \ textf {Multinomial} (n, (1 / n) _ {i = 1} ^ n). $$ Siksi voimme laskea $ m_b $ vetämällä $ w ^ b $ sen jakelusta ja laskemalla pistetuotteen $ y $ : lla. Tästä uudesta näkökulmasta näyttää siltä, että havainnot ovat kiinteät , kun taas painot vaihtelevat.
Bayesin johtopäätöksessä havainnot pidetään todellakin kiinteinä, joten tämä uusi näkökulma näyttää olevan mukava Bayesin lähestymistavalle. Itse asiassa keskiarvon laskeminen Bayesin bootstrapin mukaan eroaa vain painojen jakaumasta. (Käsitteellisestä näkökulmasta katsottuna Bayesin käynnistyshihna eroaa melko paljon usein käytetystä versiosta.) Tiedot $ y $ on kiinteä ja painot $ w $ ovat tuntemattomia parametreja. Saatamme olla kiinnostunut tietyistä toiminnallisista tiedoista, jotka riippuvat tuntemattomista parametreista: $$ \ mu = \ sum_ {i = 1} ^ n w_i \ , y_i.$$
Tässä on pienoiskuva mallista Bayesin bootstrapin takana: Havaintojen näytteenottojakauma on moninominen ja painojen priori on rajoittava Dirichlet-jakauma, joka antaa kaiken painon yksinkertaisuuden kärjissä. (Jotkut kirjoittajat kutsuvat tätä mallia monikokoisen todennäköisyyden malliksi .)
Tämä malli tuottaa seuraavan takajakauman painoille: $ $ w \ sim \ textf {Dirichlet} (1, \ ldots, 1). $$ (Tämä jakauma on tasainen yksinkertaisuuden suhteen.) Painojen kaksi jakaumaa (taajuus- ja Bayesian) ovat melko samanlaisia: Niillä on samat keskiarvot ja samanlaiset kovarianssit. Dirichlet-jakelu on ”tasaisempi” kuin monikokoinen jakelu, joten Bayesin bootstrap voidaan kutsua tasoitetuksi bootstrapiksi. Voimme tulkita commonist-bootstrapin likiarvoksi Bayesin bootstrapille.
Kun otetaan huomioon painojen takajakauma, voimme arvioida funktionaalisen $ \ mu $ takajakauman toistamalla näytteitä $ w $ Dirichlet-jakelustaan ja pistetuotteen laskemisesta $ y $ .
Voimme ottaa käyttöön kehys yhtälöiden arvioimisesta $$ \ sum_ {i = 1} ^ n w_i \, g (y_i, \ theta) = \ alleviivattu 0, $$ missä $ g (y_i, \ theta) $ on vektori toimintojen arvioimisesta , joka riippuu tuntemattomasta parametrista (vektori) $ \ theta $ ja $ \ alleviiva 0 $ on nollavektori. Jos tällä yhtälöjärjestelmällä on ainutlaatuinen ratkaisu $ \ theta $ annettuihin $ y $ ja $ w $ , sitten voimme laskea sen takajakauman vetämällä $ w $ taka-jakaumastaan ja arvioimalla kyseisen ratkaisun. (Yhtälöiden arviointikehystä käytetään empiirisen todennäköisyyden ja yleistetyn momenttimenetelmän (GMM) kanssa.)
Yksinkertaisin tapaus on se, jota olemme jo käsitelleet: $$ \ sum_ {i = 1} ^ n w_i \, (y_i – \ mu) = 0. $$ Keskiarvolle ja varianssille $ \ theta = (\ mu, v) $ meillä on $$ g (y_i, \ theta) = \ begin {pmatrix} y_i – \ mu \\ (y_i – \ mu) ^ 2 – v \ end {pmatrix}. $$ Asennus on hieman enemmän mukana kuin taajuusmuuttajan käynnistyshihnassa, minkä vuoksi Bayesin kansalainen saattaa hyväksyä taajuusmuuttajan käynnistyshihnan nopeaksi likiarvoksi.
Kommentit
- Kiitos erittäin yksityiskohtaisesta kuvauksesta. Henkilökohtaisesti arvostan lyhyttä lausunto siitä, milloin valita kukin niistä.
- Eikö ' ole tasainen takaosa pariton valinta? Olisin odottanut tasaista jakautumista aikaisempana kuin takana. En voinut ' löytää keskusteluja tästä. Onko sinulla kommentteja?
- @Blade – mielestäni tasainen takaosa on kelvollinen, koska kaikki havaitut datapisteet valitaan yhtä todennäköisesti. ' Yritän edelleen kiertää pääni itse, mutta tämä voi auttaa: sumsar.net/blog/2015/ 04 / …
- @MattWenham Joten prioriteetin valinta on outoa, ja Rubin itse huomauttaa tämän. Valinta priori on asetettu siten, että takaosa jäljittelee klassista bootstrapia. Se ' ei ole, että se ' ei ole kelvollinen, se ' on vain sitä ei ole kovin takaosa, kun se ' on tasainen jakauma. Voit odottaa, että jälkimmäinen antaa sinulle joitain tietoja jonkin havainnon perusteella, mutta tässä meillä on oletus, että kaikki tietojoukon erottavat arvot on huomioitu.