Wat betekent het als ik, drie standaarddeviaties verwijderd van het gemiddelde, buiten de minimum- of maximumwaarde beland?

” Drie st.dev.s bevatten 99,7% van de gegevens ”

U moet enkele kanttekeningen plaatsen bij een dergelijke verklaring.

Het 99,7% ding is een feit over normale verdelingen – 99,7% van de populatiewaarden zal binnen drie populatie-standaarddeviaties van het populatiegemiddelde vallen.

In grote monsters * van een normale verdeling, zal dit meestal ongeveer het geval zijn – ongeveer 99,7% van de gegevens zou binnen drie steekproefstandaarddeviaties van het steekproefgemiddelde vallen (als u een steekproef uit een normale verdeling zou nemen, zou uw steekproef groot genoeg om dat ongeveer waar te laten zijn – het lijkt erop dat er ongeveer 73% kans is om $ 0,9973 \ pm 0,0010 $ te krijgen met een steekproef van die grootte).

* uitgaande van willekeurige steekproeven

Maar je hebt geen steekproef van een normale verdeling.

Als je geen beperkingen stelt aan de vorm van de verdeling, kan het werkelijke aandeel binnen 3 standaarddeviaties van het gemiddelde hoog zijn of lager.

$ \ qquad \ qquad ^ \ text { Voorbeeld van een distributie met 100% van de distributie binnen 2 sds van gemiddelde} $

Het aandeel van een distributie binnen 3 stan dard afwijkingen van het gemiddelde kunnen zo laag zijn als 88,9%. Mogelijk hebt u meer dan 18 standaarddeviaties nodig om 99,7% binnen te krijgen. Aan de andere kant kunt u meer dan 99,7% krijgen binnen een goede deal minder dan één standaarddeviatie. Dus de vuistregel van 99,7% helpt niet per se, tenzij je de distributievorm een beetje vastzet.

Als je je verwachting een beetje ontspant (om maar ongeveer 99,7% te zijn), dan de regel is soms nuttig zonder normaliteit te vereisen, zolang we in gedachten houden dat het niet altijd in elke situatie zal werken – zelfs bij benadering.

Opmerkingen

• Ik vermoed dat uw 88,9% afkomstig is van en.wikipedia.org/wiki / Kolmogorov% 27s_inequality . Ik was redelijk goed in de kansles, maar dat was vele jaren geleden.
• @emory Ik denk dat het ‘ gewoon chebyshev ‘ s ongelijkheid 🙂
• @Ant Dank je. Dat klinkt goed. en.wikipedia.org/wiki/Chebyshev%27s_inequality
• Ja, het is ‘ s Chebyshev ‘ s ongelijkheid.

Het korte antwoord is dat uw steekproef niet precies een normale verdeling heeft gevolgd, dus suggereert dat u misschien uw basisaannames opnieuw moet onderzoeken, met name een dat u tools kunt toepassen die zijn ontworpen om te werken met een normaal verdeelde populatie.

Gewoon draai je vraag andersom voor verlichting. Als uw steekproef normaal verdeeld was, zou men verwachten dat een steekproefomvang van ~ 2000 gemiddeld 6 datapunten oplevert buiten het bereik van 30-48. De jouwe niet, wat een vraag aangeeft: Wat is de betekenis van deze afwijking van normaal voor alle voorspellingen die je doet door aan te nemen dat je bredere populatie een normale verdeling volgt?”

Dus de bredere implicatie van deze kleine anomalie is dat, hoewel uw steekproef niet ver verschilt van een normale verdeling, sommige voorspellingen die ervan uitgaan dat deze een grotere normaal verdeelde populatie vertegenwoordigt, inherent gebrekkig kunnen zijn en enige kwalificatie of verder onderzoek rechtvaardigen. Het inschatten van de waarschijnlijkheid van deze afwijking van normaal, en de impliciete foutmarges en betrouwbaarheid van de resulterende voorspellingen gaat mijn bekwaamheid echter ver te boven, hoewel gelukkig onderzocht in de vele andere antwoorden hier!

Maar je hebt duidelijk de goede gewoonte om je resultaten volledig te bekijken, je af te vragen wat je resultaten echt betekenen en of ze je oorspronkelijke hypothese bewijzen of niet. Zoek naar andere afwijkingen die in de gegevens aan het licht komen, zoals Kurtosis en Skew om te zien welke aanwijzingen ze onthullen of beschouwen andere distributies misschien als een betere representatie van uw populatie.

Opmerkingen

• Dat of gewoon uit pure willekeur, daar waren geen datapunten in het bereik.

“Three st.dev.s ($ 3 \ sqrt {\ sigma ^ 2} $) 99,7% van de gegevens bevatten ”verwijst naar Gaussiaanse verdelingen. Voor distributies in het algemeen legt Chebyshevs ongelijkheid een ondergrens aan de hoeveelheid kansmassa binnen $ k $ van het gemiddelde. Maar is er een bovengrens?

Met een Bernoulli-verdeling met $ p $ = .5, de $ \ sigma $ is .5. De gemiddelde $ \ mu $ is ook .5, wat betekent dat 100% van de distributie binnen $ 1 \ sigma $ of $ \ mu $ valt. Hoe zit het met kleinere aantallen standaarddeviaties ?

Opmerking: het volgende is voor de eenvoud een argument met betrekking tot distributies met $ \ mu = 0 $. De uitbreiding naar distributie met willekeurige $ \ mu $ is redelijk triviaal.

Gegeven elke positieve $ \ varepsilon $ en $ M $, er is een zodanige verdeling dat je $ \ varepsilon / 2 $ kansmassa $ \ linkerpijl M $ en $ \ varepsilon / 2 $ kansmassa $ \ gt M $ hebt. Dat wil zeggen,

$ p (\ lvert {x} \ rvert \ gt M) = \ varepsilon $

Al het andere is gelijk, als $ M \ tot \ infty $, dan $ \ sigma \ to \ infty $. Echter, voor elke vaste positieve $ N $, zodra $ M $ $ N $ overschrijdt, is de waarschijnlijkheidsmassa binnen $ N $ van nul altijd $ 1- \ varepsilon $, re gardless van $ M $. Dus als we kijken naar de relatieve afstand vanaf nul (dat wil zeggen, het aantal standaarddeviaties, de waarde is $ = \ frac {\ lvert {x} \ rvert} {\ sigma} $), dan als $ M \ tot \ infty $, we hebben $ n \ tot \ infty $, waarbij $ n $ het grootste gehele getal is, zodat “$ 1- \ varepsilon $ van de waarschijnlijkheid binnen $ n \ sigma $ van $ \ mu $” waar is.

Dit toont aan dat voor alle positieve getallen $ \ varepsilon $ en $ n $, er een zodanige verdeling is dat de kans groter is dan $ n \ sigma $ vanaf nul kleiner is dan $ \ varepsilon $. Dus als u bijvoorbeeld een kans van 99,999% wilt hebben om minder dan .000001 $ \ sigma $ vanaf nul te zijn, is er een verdeling die daaraan voldoet.