プールされた分散“実際には”はどういう意味ですか？

簡単に言えば、プールされた分散は、これらの分散が等しいという仮定/制約の下で、各サンプル内の分散の（バイアスされていない）推定値です。

これは、プールされた分散のWikipediaエントリで詳細に説明、動機付け、分析されています。

not は、想定どおりに2つの個別のサンプルを連結することによって形成された新しい「メタサンプル」の分散を推定します。すでに発見したように、それを見積もるには完全に異なる式が必要です。

コメント

• “平等の仮定”（つまり、同じ母集団がこれらのサンプルを認識した）は、それが何であるかを定義するために一般的に必要ありません-“プール”。プールされたとは、単に平均化されたオムニバスを意味します（Timへの私のコメントを参照してください）。サンプル分散に対して実行する数学演算を説明します。母分散が等しいと想定されていない場合、’は、プールされた分散を推定値と見なすことができるものが不明確です。もちろん、2つの差異の融合であると考えてそのままにしておくこともできますが、’は、組み合わせたいという動機がないため、ほとんど啓蒙的ではありません。そもそも差異。
• ジェイク、私は’ OPの具体的な質問を考えると、それに同意しませんが、私は話したかったのです。 “プールされた”という単語の定義、’が私が言った理由id = “bc2af58303”>

プールされた分散は、さまざまなサンプルの分散を加重平均して結合し、「全体的な」分散を取得するために使用されます。あなたの例の問題は、各サブサンプルの分散がゼロに等しいため、それが病理学的なケースであるということです。このような病的なケースは、私たちが通常遭遇するデータとほとんど共通点がありません。常にある程度の変動があり、変動がない場合、情報がないため、このような変数は気にしません。これは、非常に単純な方法であり、そのような問題が発生しにくい階層データ構造の分散を推定するより複雑な方法があります。

編集の例については、仮定を明確に述べることが重要であることを示しています。分析を開始する前に。$ k $グループに$ n $のデータポイントがあるとすると、$ x_ {1,1}、x_ {2,1}、\ dots、x_ {n-と表記します。 1、k}、x_ {n、k} $、ここで$ x_ {i、j} $の$ i $番目のインデックスはケースを表し、$ j $番目のインデックスはグループインデックスを表します。考えられるシナリオはいくつかあります。すべてのポイントが同じ分布からのものであると想定できます（簡単にするために、正規分布を想定します）。

$$ x_ {i、j} \ sim \ mathcal { N}（\ mu、\ sigma ^ 2）\ tag {1} $$

各サブサンプルには独自の平均があると想定できます

$$ x_ { i、j} \ sim \ mathcal {N}（\ mu_j、\ sigma ^ 2）\ tag {2} $$

または、それ自体の分散

$$ x_ { i、j} \ sim \ mathcal {N}（\ mu、\ sigma ^ 2_j）\ tag {3} $$

または、それぞれに独自の異なるパラメーターがあります

$$ x_ {i、j} \ sim \ mathcal {N}（\ mu_j、\ sigma ^ 2_j）\ tag {4} $$

仮定に応じて、特定の方法が、またはデータの分析には不十分な場合があります。

最初のケースでは、グループ内の分散はすべて同じであると想定するため、グループ内の分散を推定することには関心がありません。それでも、グループ分散からグローバル分散を集計した場合、分散の定義は

$$ \ mathrm {Var}（X）= \ fracであるため、プールされた分散を使用した場合と同じ結果が得られます。 {1} {n-1} \ sum_i（x_i- \ mu）^ 2 $$

そしてプールされた推定量では、最初に$ n-1 $を掛け、次に足し合わせ、最後にで割る$ n_1 + n_2-1 $。

2番目のケースでは、意味は異なりますが、共通の分散があります。この例は、編集の例に最も近いものです。このシナリオでは、プールされた分散はグローバル分散を正しく推定しますが、データセット全体で分散を推定すると、グループの平均が異なるという事実を考慮していなかったため、誤った結果が得られます。 。

3番目のケースでは、各グループに独自の分散があると想定しているため、「グローバル」分散を推定することは意味がありません。母集団全体の推定値を取得することに関心があるかもしれませんが、そのような場合は、（a）グループごとの個々の分散を計算し、（b）データセット全体からグローバル分散を計算します。誤解を招く結果をもたらす可能性があります。この種のデータを扱う場合は、データの階層的な性質を説明するより複雑なモデルの使用を検討する必要があります。

4番目のケースは最も極端で、前のケースと非常によく似ています。このシナリオでは、グローバルな平均と分散を推定する場合は、別のモデルと別の仮定のセットが必要になります。このような場合、データは階層構造であり、グループ内の平均と分散に加えて、たとえば次のモデルを想定するなど、より高いレベルの共通分散があると想定します。

$$ \ begin {align} x_ {i、j} & \ sim \ mathcal {N}（\ mu_j、\ sigma ^ 2_j）\\ \ mu_j & \ sim \ mathcal {N}（\ mu_0、\ sigma ^ 2_0）\\ \ sigma ^ 2_j & \ sim \ mathcal {IG}（\ alpha、\ beta）\ end {align} \ tag {5} $$

ここで、各サンプルには独自の平均と分散$ \ mu_j、\ sigma ^ 2_j $があり、それ自体が共通の分布から抽出されます。このような場合、下位レベルと上位レベルの両方の変動性を考慮した階層モデルを使用します。この種のモデルの詳細については、Gelman etal。の ベイジアンデータ分析 の本をご覧ください。そして彼らの 8つの学校の例。ただし、これは単純なプールされた分散推定量よりもはるかに複雑なモデルです。

コメント

• 別の例で質問を更新しました。この場合、”文学’の式”からの回答はまだ間違っています。私たちは通常、上記の例のような極端なケースがない”正規データ”を扱っていることを理解しています。ただし、数学者として、”毎日/一般的な問題に適用される数式ではなく、実際に正しい数式を気にする必要はありません’ “？一部の数式が根本的に間違っている場合、特に病理学的であるかどうかに関係なく、すべての場合に当てはまる別の数式がある場合は、破棄する必要があります。分散を推定する。これらの方法を教えていただけますか？ありがとう
• ティム、プールされた分散は、”結合されたサンプルivの合計分散ではありませんid = “bc2af58303”>

問題はサンプルを連結し、同じ分布からのものであると「想定している」分散を推定するだけなので、平均は同じになります。しかし、一般的に、平均が異なるいくつかのサンプルに関心があります。これは理にかなっていますか？

プールされた分散の使用例は、次のような分布からの2つのサンプルがある場合です。

• 平均は異なる場合がありますが、
• 等しい真の分散があると予想されます。

この例は、1つのサンプルでアリスの鼻の長さを$ n $回測定し、2番目のサンプルでボブの鼻の長さを$ m $回測定する状況です。これらは、測定誤差のために、ミリメートルのスケールで多数の異なる測定値を生成する可能性があります。ただし、どの鼻を測定しても、測定誤差の分散は同じであると予想されます。

この場合、プールされた分散を取得すると、分散を取得するよりも測定誤差の分散をより正確に推定できます。 1つのサンプルのみの。

コメント

• ご回答ありがとうございますが、それでも’ 1つのことについて理解できません。最初のデータは、アリス’の鼻の長さに関する分散を示し、2番目のデータは、ボブ’鼻の長さ。これらのデータからプールされた分散を計算している場合、実際にはどういう意味ですか？最初の差異はアリス’に関する変動を測定し、2番目の差異はボブ’に関する変動を測定しているため、追加のプールされた分散を計算することで情報を得ることができますか？これらは完全に異なる数値です。

プールされた分散を通じて、分散を推定しようとはしていません。小さいサンプルを使用して、大きいサンプル。したがって、あなたが挙げた2つの例は、質問を正確に参照していません。

母分散からランダムに取得された2つのサンプルから母分散をより正確に推定するには、プールされた分散が必要です。異なる分散推定値を使用します。

たとえば、ロンドンの男性の喫煙習慣の分散を測定しようとしています。ロンドンから300人の男性を2回サンプリングします。最終的に、2つの分散が得られます（おそらく少し異なります）。 ！）。これで、公正なランダムサンプリングを実行したので（真のランダムサンプリングはほとんど不可能であるため、自分の能力に最適です）、両方の分散が母分散の真の点推定値であると言うすべての権利があります（この場合のロンドンの男性

しかし、それはどのように可能ですか？つまり、2つの異なる点推定!!したがって、先に進んで、プールされた分散である共通の点推定を見つけます。これは、2点推定の加重平均に他なりません。ここで、重みは各サンプルに関連付けられた自由度です。

これが明らかになることを願っています。

会話に非常に遅れていますが、何か役立つものを追加できるかもしれません：
私には思えますOPは、2つのサンプルの加重平均としてプールされた変動推定値 $ \ hat \ sigma_ {pooled} $ が必要な理由（何のために）を知りたいと考えています（分散または標準偏差）。

私が知る限り、これに対する主な実用的なの必要性ある種の分散尺度は、（サブ）グループの平均を比較したいことから生じます。したがって、1）遺伝子療法を受けていない人、2）遺伝子療法を受けた人A、および3）の平均鼻長を比較したい場合。遺伝子療法を受けた人B.
長さの平均差の量（mm）をよりよく比較できるようにするために、平均差を除算します。たとえば、 $ e = \ bar x_ {Control}-\ bar x_ {GTA} = 30mm-28mm = 2mm $ 変動性の推定値（ここでは標準偏差） ation）。プールされた分散の平方根のサイズ（プールされた標準偏差）に応じて、これらのグループ間の2mmの差のサイズをより適切に判断できます（例： $ d = 2mm / 0.5mm = 4 $ と $ d = 2mm / 4mm = 0.5 $ ->遺伝子治療Aは行いますか鼻の長さに何か？もしそうなら、いくらですか？ $ d = 4 $ または $ 2 \ pm 0.5mm $の場合 “安定した”または”一貫性のある

または” big “（変動性と比較して）平均鼻長の差 $ d = 0.5 $ または $ 2 \ pm 4mm $ は、比較的多くはないようです。両方のグループ内のすべての値が同じであるため、変動性がない場合グループ内では、 $ d $ は定義されませんが、解釈は $ 2 \ pm 0mm = 2mm $ spanになります。 >正確に）。
これは効果量の考え方です（私が知る限り、最初はネイマンとピアソンによって理論的に導入されましたが、以前は何らかの形で使用されていました。Stigler、1986を参照してください。 、たとえば）。
つまり、私が行っているのは、グループ間の平均差を、同じグループ内の平均差、つまり分散の加重平均（標準偏差）と比較することです。これは、（サブ）グループ間の平均差を” “グループ全体の平均差と比較するよりも理にかなっています。 、あなた（Hanciong）が示したように、グループ全体の分散（および標準偏差）には、グループ平均の差も含まれています。

理論的メジャーの必要性は、 $ t $ -平均差の期待値（たとえば、Null-Hypothesis-Significance-Testのp値）を指定して、観測された平均差またはより極端なものの確率を見つけるための分布、NHST、またはNeyman-Pearson仮説検定またはFisher仮説検定、信頼区間など）： $ p（e \ ge e_ {observed} | \ mu_e = 0）$ 。
私が知る限り、 $ t $ -分布（特に $ F $ -2つ以上の比較手段がある場合の分布）は、両方（またはすべて）のサンプルが等しい分散（指摘されているように分散の均一性）を持つ母集団から抽出された場合にのみ、確率の正しい推定値を提供しますすでに他の回答で;これはmで（より）詳細に説明されるべきですほとんどの統計教科書）。すべての分布は正規分布（ $ t $ 、 $ F $ 、 $ \ chi ^ 2 $ ）は、分散が0より大きく $ \ infty $ より小さいと想定しているため、次のようになります。変動範囲が0のケースのp値を見つけることは不可能です（この場合、正規分布からサンプルを抽出したとは明らかに想定していません）。
（これも直感的に合理的です：必要に応じて2つ以上の平均を比較するには、それらの平均の精度は同じか、少なくとも同等である必要があります。
鼻の長さが非常に似ている人に遺伝子療法Aを実行する場合、たとえば $ \ bar x \ pm 0.5mm $ ですが、私のコントロールグループには、鼻の長さのばらつきが大きい人々のグループがあります。たとえば、 $ \ bar x \ pm 4mm $ これらの平均にはないため、これらの平均を直接比較することは公平ではないようです。同じ”平均-意味”;実際、私の対照群の非常に高い分散/標準偏差は、さらなるサブグループを示している可能性があります。おそらく、いくつかの遺伝子の違いによる鼻の長さの違いです。）