統計$ T（X）$がパラメーターに十分であるとはどういう意味ですか？

十分性を理解する最良の方法は、身近な例を検討することだと思います。 （必ずしも公平ではない）コインを裏返すと仮定します。ここで、ヘッドを獲得する確率は、未知のパラメーター$ p $です。その場合、個々の試行はIIDベルヌーイ（p）確率変数であり、$ n $試行の結果はベクトル$ \ boldsymbol X =（X_1、X_2、\ ldots、X_n）$であると考えることができます。私たちの直感によると、多数の試行の場合、パラメーター$ p $の「適切な」推定値は、統計値$$ \ bar X = \ frac {1} {n} \ sum_ {i = 1} ^ n X_i 。$$ここで、私がそのような実験を行う状況について考えてみましょう。 $ \ boldsymbol X $と比較して、$ \ bar X $についてお知らせした場合、$ p $を同じように見積もることができますか？承知しました。これが私たちにとって十分であるということです。統計$ T（\ boldsymbol X）= \ bar X $は、$ p $から取得できるすべての情報を保持するため、$ p $に対して十分です。元のサンプル$ \ boldsymbol X $。 （ただし、この主張を証明するには、さらに説明が必要です。）

これはそれほど簡単な例ではありません。 $ {\ rm Uniform}（0、\ theta）$分布から取得した$ n $ IID観測値があるとします。ここで、$ \ theta $は未知のパラメーターです。 $ \ theta $の十分統計量は何ですか？たとえば、$ n = 5 $のサンプルを取得し、$ \ boldsymbol X =（3、1、4、5、4）$を取得するとします。 $ \ theta $の見積もりは、そのような値を観察できたので、明らかに少なくとも$ 5 $でなければなりません。しかし、それは実際のサンプル$ \ boldsymbol X $を知ることから抽出できる最も多くの知識です。 $ X_4 = 5 $を観測すると、他の観測では$ \ theta $に関する追加情報は伝達されません。したがって、$ \ theta $には、統計$$ T（\ boldsymbol X）= X _ {（n）} = \ max \ boldsymbol X $$で十分であると直感的に予想できます。実際、これを証明するために、$ \ theta $を条件とする$ \ boldsymbol X $の同時密度を記述し、因数分解定理を使用します（ただし、議論を非公式に保つために、これは省略します）。

十分統計量は必ずしもスカラー値であるとは限らないことに注意してください。なぜなら、サンプル全体を単一のスカラーにデータ削減することは不可能な場合があるからです。これは通常、複数のパラメーター（これは、単一のベクトル値パラメーターと同等に見なすことができます）に十分なものが必要な場合に発生します。たとえば、平均$ \ mu $が不明で標準偏差が$ \ sigma $の正規分布の十分統計量は、$$ \ boldsymbol T（\ boldsymbol X）= \ left（\ frac {1} {n} \ sum_ {です。 i = 1} ^ n X_i、\ sqrt {\ frac {1} {n-1} \ sum_ {i = 1} ^ n（X_i- \ bar X）^ 2} \ right）。$$実際、これらは平均と標準偏差の不偏推定量です。これが達成可能な最大のデータ削減であることを示すことができます。

十分統計量は一意ではないことにも注意してください。コイントスの例では、$ \ bar X $を与えると、$ p $を見積もることができます。ただし、$ \ sum_ {i = 1} ^ n X_i $を指定した場合でも、$ p $を見積もることができます。実際、$ g $を反転して$ T $を回復できるため、十分統計量$ T（\ boldsymbol X）$の1対1の関数$ g $でも十分です。したがって、平均と標準偏差が不明な通常の例では、$ \ left（\ sum_ {i = 1} ^ n X_i、\ sum_ {i = 1} ^ n X_i ^ 2 \ right）$、と主張することもできます。つまり、観測値の2乗の合計と合計は、$（\ mu、\ sigma）$には十分です。確かに、十分性の非一意性はさらに明白です。$ \ boldsymbol T（\ boldsymbol X）= \ boldsymbol X $は、どのパラメーターでも常に十分です。元のサンプルには、収集できる限りの情報が常に含まれています。 。

要約すると、十分性は、統計が何らかのデータ削減を達成することを正式に示すことができるため、統計の望ましい特性です。 最大のデータ削減量を達成する十分統計量は、最小十分統計量と呼ばれます。

コメント

• 何をしますか$ T（X）$とパラメータ$ p $または$ \ theta $の間の一般的な関係ですか？ $ T（X）$は常にパラメーターに関連している必要がありますか？また、直感的には、因数分解定理が機能すると言うのは正しいですか？それは、pdfをパラメーター/十分統計とxの関数の積になるように分離すると、ログを取得してMLE推定値を取得できるためです。ありがとう！
• 十分統計量は、必ずしもパラメータの推定値ではありません。たとえば、元のサンプルは'何も推定していません。あなたは見積もりを得るためにそれに何かをしなければなりません。唯一の要件は、十分統計量が'元のサンプルにあったパラメータについて取得できる情報を破棄しないことです。因数分解定理は、パラメーターを条件とする部分が十分統計量の関数にすぎないように、パラメーターを条件とする結合PDFを表現するため、十分統計量を示します。
• その意味で、続行するには、PDFを因数分解すると$ f（\ boldsymbol x \ mid \ theta）= g（T（\ boldsymbol x）\ mid \ theta）h（\ boldsymbol x）$、"パラメータに関する情報"は、条件付き部分$ g（T（\ boldsymbol x）\ mid \ theta）$です。因子$ h（\ boldsymbol x）$は$ \ theta $を条件としないため、'それに関する情報を提供しません。したがって、知っておく必要があるのは$ T（\ boldsymbol X）$だけで、他には何もありません。
• つまり、" $ T（X ）$は$ \ theta $ "に十分です。つまり、条件付き部分" $ g（T（X）を使用できます。 | \ theta）$で$ \ theta $の推定値を見つけますか？
• サンプルが$ g $に表示されるのは、合計$ T（\ boldsymbol x）として表される場合のみであることに注意してください。 = \ sum x_i $なので、これで十分統計量になります。さて、仮説的に、$$ g（T（\ boldsymbol X）\ mid \ lambda）= e ^ {-n \ lambda \ prodx_i}の形式の因数しか取得できなかった場合\ lambda ^ {\ sum x_i}、$$の場合、十分統計量はベクトル値になります：$ \ boldsymbol T（\ boldsymbol x）=（\ sum x_i、\ prod x_i）$。