Jai du mal à comprendre ce quune statistique suffisante nous aide réellement à faire.
Cela dit que
Étant donné $ X_1, X_2, …, X_n $ dune distribution, une statistique $ T (X) $ est suffisant pour un paramètre $ \ theta $ si
$ P (X_1, X_2 , …, X_n | T (X), \ theta) = P (X_1, X_2, …, X_n | T (X)) $ .
Signification, si nous sachez $ T (X) $ , alors nous ne pouvons pas obtenir plus dinformations sur le paramètre $ \ theta $ en considérant dautres fonctions des données $ X_1, X_2, …, X_n $ .
Jai deux questions:
-
Il me semble que le but de $ T (X) $ est de faire en sorte que nous puissions calculer le pdf dune distribution plus facilement. Si le calcul du pdf donne une mesure de probabilité , alors pourquoi est-il dit que nous ne pouvons pas " obtenir plus dinformations sur le paramètre $ θ $ "? En dautres termes, pourquoi nous concentrons-nous sur $ T (X) $ nous disant quelque chose sur $ \ theta $ lorsque le pdf crache une mesure de probabilité, qui nest pas » t $ \ theta $ ?
-
Quand il dit: " nous ne pouvons pas obtenir plus dinformations sur le paramètre θ par en considérant dautres fonctions des données $ X_1, X_2, …, X_n $ . ", de quelles autres fonctions parlent-ils? Cela revient-il à dire que si je dessine au hasard $ n $ et trouvez $ T (X) $ , puis tout autre ensemble de $ n Les échantillons $ que je dessine donnent $ T (X) $ également?
Réponse
Je pense que la meilleure façon de comprendre la suffisance est de considérer des exemples familiers. Supposons que nous lançons une pièce (pas nécessairement juste), où la probabilité dobtenir des têtes est un paramètre inconnu $ p $. Ensuite, les essais individuels sont des variables aléatoires IID Bernoulli (p), et nous pouvons considérer le résultat des essais $ n $ comme étant un vecteur $ \ boldsymbol X = (X_1, X_2, \ ldots, X_n) $. Notre intuition nous dit que pour un grand nombre dessais, une « bonne » estimation du paramètre $ p $ est la statistique $$ \ bar X = \ frac {1} {n} \ sum_ {i = 1} ^ n X_i $$ Pensez maintenant à une situation où jeffectue une telle expérience. Pourriez-vous estimer $ p $ aussi bien si je vous informe de $ \ bar X $, par rapport à $ \ boldsymbol X $? Sûr. Cest ce que fait la suffisance pour nous: la statistique $ T (\ boldsymbol X) = \ bar X $ est suffisante pour $ p $ car elle préserve toutes les informations que nous pouvons obtenir sur $ p $ du échantillon original $ \ boldsymbol X $. (Pour prouver cette affirmation, cependant, il faut plus dexplications.)
Voici un exemple moins trivial. Supposons que jai $ n $ IID observations tirées dune distribution $ {\ rm Uniform} (0, \ theta) $, où $ \ theta $ est le paramètre inconnu. Quelle est une statistique suffisante pour $ \ theta $? Par exemple, supposons que je prenne $ n = 5 $ échantillons et que jobtienne $ \ boldsymbol X = (3, 1, 4, 5, 4) $. Votre estimation pour $ \ theta $ doit clairement être dau moins 5 $, car vous avez pu observer une telle valeur. Mais cest la plus grande connaissance que vous pouvez extraire de la connaissance de léchantillon réel $ \ boldsymbol X $. Les autres observations ne donnent aucune information supplémentaire sur $ \ theta $ une fois que vous avez observé $ X_4 = 5 $. Ainsi, nous nous attendrions intuitivement à ce que la statistique $$ T (\ boldsymbol X) = X _ {(n)} = \ max \ boldsymbol X $$ soit suffisante pour $ \ theta $. En effet, pour le prouver, nous écririons la densité conjointe pour $ \ boldsymbol X $ conditionné sur $ \ theta $, et utiliserions le théorème de factorisation (mais je lomettrai dans lintérêt de garder la discussion informelle).
Notez quune statistique suffisante na pas nécessairement une valeur scalaire. Car il nest peut-être pas possible de réduire les données de léchantillon complet en un seul scalaire. Cela se produit généralement lorsque nous voulons une suffisance pour plusieurs paramètres (que nous pouvons considérer de manière équivalente comme un seul paramètre à valeur vectorielle). Par exemple, une statistique suffisante pour une distribution normale avec une moyenne inconnue $ \ mu $ et un écart type $ \ sigma $ est $$ \ boldsymbol T (\ boldsymbol X) = \ left (\ frac {1} {n} \ sum_ { i = 1} ^ n X_i, \ sqrt {\ frac {1} {n-1} \ sum_ {i = 1} ^ n (X_i – \ bar X) ^ 2} \ right). $$ En fait, ces sont des estimateurs sans biais de la moyenne et de lécart type. Nous pouvons montrer que cest la réduction maximale des données qui peut être obtenue.
Notez également quune statistique suffisante nest pas unique. Dans lexemple du tirage au sort, si je vous donne $ \ bar X $, cela vous permettra destimer $ p $. Mais si je vous ai donné $ \ sum_ {i = 1} ^ n X_i $, vous pouvez toujours estimer $ p $. En fait, toute fonction un-à-un $ g $ dune statistique suffisante $ T (\ boldsymbol X) $ est également suffisante, puisque vous pouvez inverser $ g $ pour récupérer $ T $. Donc, pour lexemple normal avec une moyenne et un écart type inconnus, jaurais aussi pu affirmer que $ \ left (\ sum_ {i = 1} ^ n X_i, \ sum_ {i = 1} ^ n X_i ^ 2 \ right) $, cest-à-dire que la somme et la somme des observations au carré sont suffisantes pour $ (\ mu, \ sigma) $. En effet, la non-unicité de la suffisance est encore plus évidente, pour $ \ boldsymbol T (\ boldsymbol X) = \ boldsymbol X $ est toujours suffisant pour tout paramètre (s): léchantillon dorigine contient toujours autant dinformations que nous pouvons en recueillir .
En résumé, la suffisance est une propriété souhaitable dune statistique car elle nous permet de montrer formellement quune statistique réalise une sorte de réduction des données. Une statistique suffisante qui atteint la quantité maximale de réduction de données est appelée une statistique minimale suffisante.
Commentaires
- Que serait soit la relation générale entre $ T (X) $ et notre paramètre $ p $ ou $ \ theta $? Est-ce que $ T (X) $ doit toujours être lié au paramètre? Aussi, intuitivement, ai-je raison de dire que le théorème de factorisation fonctionne parce quune fois que nous séparons pdf de sorte quil soit le produit du paramètre / stat suffisante et dune fonction de x, que nous pouvons prendre des logs et ainsi obtenir une estimation MLE? merci!
- Une statistique suffisante nest pas nécessairement une estimation du ou des paramètres; Par exemple, léchantillon dorigine névalue rien '. Il faut faire quelque chose pour obtenir une estimation. La seule exigence est quune statistique suffisante ne ' ne supprime pas les informations que vous pourriez obtenir sur le ou les paramètres qui figuraient dans léchantillon dorigine. Le théorème de factorisation se montre suffisant car il exprime le PDF conjoint conditionné sur le paramètre de telle sorte que la partie qui reste conditionnelle au paramètre nest quune fonction de la statistique suffisante.
- Pour continuer, dans ce sens , lorsque vous factorisez le PDF $ f (\ boldsymbol x \ mid \ theta) = g (T (\ boldsymbol x) \ mid \ theta) h (\ boldsymbol x) $, le facteur qui vous donne " Les informations " sur le paramètre sont la partie conditionnelle $ g (T (\ boldsymbol x) \ mid \ theta) $. Le facteur $ h (\ boldsymbol x) $ nest pas conditionnel à $ \ theta $ donc il ne fournit pas ' dinformations à ce sujet. Ainsi, tout ce que vous devez savoir est $ T (\ boldsymbol X) $, et rien dautre.
- Alors quand ils disent que " $ T (X ) $ est suffisant pour $ \ theta $ ", cela signifie que je peux utiliser la partie conditionnelle " $ g (T (X) | \ theta) $ pour trouver une estimation de $ \ theta $?
- Notez que le seul endroit où léchantillon apparaît dans $ g $ est lorsquil est exprimé comme la somme $ T (\ boldsymbol x) = \ sum x_i $, cest donc notre statistique suffisante. Maintenant, hypothétiquement , si nous pouvions seulement obtenir un facteur de la forme $$ g (T (\ boldsymbol X) \ mid \ lambda) = e ^ {- n \ lambda \ prod x_i} \ lambda ^ {\ sum x_i}, $$ alors notre statistique suffisante aurait une valeur vectorielle: $ \ boldsymbol T (\ boldsymbol x) = (\ sum x_i, \ prod x_i) $.