概念的にブートストラップとベイジアンブートストラップ？

（頻度の高い）ブートストラップは、未知の人口分布の妥当な近似としてデータを取得します。したがって、統計（データの関数）のサンプリング分布は、置換を使用して観測値を繰り返しリサンプリングし、各サンプルの統計を計算することで概算できます。

$ y =（y_1、\ ldots、y_n）$ で元のデータを示します（この例では、 $ n = 5 $ ）。 $ y ^ b =（y_1 ^ b、\ ldots、y_n ^ b）$ がブートストラップサンプルを表すとします。このようなサンプルでは、いくつかの観測が1回以上繰り返され、他の観測は行われない可能性があります。ブートストラップサンプルの平均は、 $$ m_b = \ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ b。$$ で与えられます。未知の母集団からのサンプリング分布を概算するために使用されるのは、多数のブートストラップ複製にわたる $ m_b $ の分布です。

順番に頻繁なブートストラップとベイジアンブートストラップの関係を理解するには、 $ m_b $ を別の観点から計算する方法を確認することをお勧めします。

各ブートストラップサンプル $ y ^ b $ で、各観測値 $ y_i $ 0〜 $ n $ 回発生します。 $ h_i ^ b $ は、 $ y_i $ が $ y ^ b $ とし、 $ h ^ b =（h_1 ^ b、\ ldots、h_n ^ b）$ とします。したがって、 $ h_i ^ b \ in \ {0、1、\ ldots、n-1、n \} $ および $ \ sum_ {i = 1} ^ n h_i ^ b = n $ 。 $ h ^ b $ が与えられると、合計が1になる非負の重みのコレクションを作成できます。 $ w ^ b = h ^ b / n $ 、ここで $ w_i ^ b = h_i ^ b / n $ 。この表記法を使用すると、ブートストラップサンプルの平均を $$ m_b = \ sum_ {i = 1} ^ n w_i ^ b \、y_iとして再表現できます。 $$

ブートストラップサンプルの観測値を選択する方法によって、 $ w ^ b $ の同時分布が決まります。特に、 $ h ^ b $ は多項分布であるため、 $$（n \、w ^ b）\ sim \ textsf {Multinomial}（n、（1 / n）_ {i = 1} ^ n）。$$ したがって、 $ m_b $ 分布から $ w ^ b $ を引き出し、 $ y $ で内積を計算します。この新しい観点からは、重みが変化している間、観測値は固定されているように見えます。

ベイズ推定では、観測値は実際に固定されていると見なされるため、この新しい視点はベイズアプローチと相性が良いように見えます。実際、ベイジアンブートストラップによる平均の計算は、重みの分布のみが異なります。 （それでも、概念的な観点から、ベイジアンブートストラップは頻度主義バージョンとはかなり異なります。）データ $ y $ は固定されており、重みは $ w $ は不明なパラメーターです。未知のパラメータに依存するデータの機能に興味があるかもしれません： $$ \ mu = \ sum_ {i = 1} ^ n w_i \ 、y_i。$$

ベイジアンブートストラップの背後にあるモデルのサムネイルスケッチは次のとおりです。観測値のサンプリング分布は多項分布であり、重みの事前分布は、すべての重みを置く限定的なディリクレ分布です。シンプレックスの頂点に。 （一部の作成者は、このモデルを多項尤度モデルと呼んでいます。）

このモデルは、重みに対して次の事後分布を生成します。 $ $ w \ sim \ textsf {Dirichlet}（1、\ ldots、1）。 $$ （この分布はシンプレックス全体でフラットです。）重みの2つの分布（頻度主義とベイジアン）は非常に似ています。それらは同じ平均と類似した共分散を持っています。ディリクレ分布は多項分布よりも「滑らか」であるため、ベイジアンブートストラップは平滑化ブートストラップと呼ばれる場合があります。頻度主義的ブートストラップは、ベイジアンブートストラップの近似として解釈される場合があります。

重みの事後分布が与えられると、pan class = “を繰り返しサンプリングすることにより、関数 $ \ mu $ の事後分布を概算できます。 Dirichlet分布からのmath-container “> $ w $ と、 $ y $ を使用したドット積の計算。

採用できます。 推定方程式のフレームワーク $$ \ sum_ {i = 1} ^ n w_i \、g（y_i、\ theta）= \ underline 0、$$ ここで、 $ g（y_i、\ theta）$ は、未知のパラメーター（ベクトル）に依存する推定関数のベクトルです。 $ \ theta $ および $ \ underline 0 $ はゼロのベクトルです。この連立方程式に、 $ y $ とpanclassが与えられた場合の $ \ theta $ に対する一意の解がある場合= “math-container”> $ w $ の場合、事後分布から $ w $ を引き出し、その解を評価することで、事後分布を計算できます。 （方程式を推定するフレームワークは、経験的尤度および一般化モーメント法（GMM）で使用されます。）

最も単純なケースは、すでに扱ったケースです： $$ \ sum_ {i = 1} ^ n w_i \、（y_i- \ mu）= 0。$$ 平均と分散については、 $ \ theta =（\ mu、v）$ $$ g（y_i、\ theta）= \ begin {pmatrix} y_i- \ mu \\（y_i- \ mu）^ 2-v \ end {pmatrix}。 $$ セットアップは頻度主義的ブートストラップのセットアップよりも少し複雑です。そのため、ベイジアンは頻度主義的ブートストラップを簡単な概算として採用する可能性があります。

コメント

• 非常に詳細な説明をありがとうございます。個人的には、それぞれをいつ選択するかについて簡単に説明していただければ幸いです。
• 'フラットな後部は奇妙な選択ですか？事後ではなく前と同じように一様分布を期待していました。 'これに関するディスカッションは見つかりませんでした。コメントはありますか？
• @ Blade-観測されたすべてのデータポイントが等しく選択される可能性が高いため、フラットな後部が有効であると考えます。 'まだ自分で頭を悩ませようとしていますが、これは役立つかもしれません： sumsar.net/blog/2015/ 04 / …
• @MattWenhamしたがって、事前の選択は奇妙であり、これはルービン自身によって指摘されています。事前の選択は、事後が古典的なブートストラップを模倣するように設定されます。 'それは'が無効であるということではなく、'それだけです'一様分布の場合、それほど後進的ではありません。事後分析では、何らかの観察に基づいて情報が提供されると予想されますが、ここでは、データセット内のすべての特徴的な値が観察されたという仮定があります。