Jak ' zsumować ' odchylenie standardowe?

Krótka odpowiedź: uśredniasz wariancje ; następnie możesz wziąć pierwiastek kwadratowy, aby uzyskać średnie odchylenie standardowe .

Przykład

Month MWh StdDev Variance ========== ===== ====== ======== January 927 333 110889 February 1234 250 62500 March 1032 301 90601 April 876 204 41616 May 865 165 27225 June 750 263 69169 July 780 280 78400 August 690 98 9604 September 730 76 5776 October 821 240 57600 November 803 178 31684 December 850 250 62500 =========== ===== ======= ======= Total 10358 647564 ÷12 863 232 53964 

A następnie średnie odchylenie standardowe wynosi sqrt(53,964) = 232

From Suma zmiennych losowych o rozkładzie normalnym :

Jeśli $ X $ i $ Y $ są niezależnymi zmiennymi losowymi, które mają rozkład normalny (a więc także łącznie), to ich suma również ma rozkład normalny

… suma dwóch niezależnych normalnie rozłożone zmienne losowe są normalne, a ich średnia jest sumą dwóch średnich, a jej wariancja jest sumą dwóch wariancji

Oraz z Wolframa Alpha „s Normalny rozkład sum :

O dziwo, rozkład sumy dwóch o rozkładzie normalnym niezależne zmienne $ X $ i $ Y $ ze średnimi i v ariance $ (\ mu_X, \ sigma_X ^ 2) $ i $ (\ mu_Y, \ sigma_Y ^ 2) $ to odpowiednio inny rozkład normalny

$$ P_ {X + Y} (u) = \ frac {1} {\ sqrt {2 \ pi (\ sigma_X ^ 2 + \ sigma_Y ^ 2)}} e ^ {- [u – (\ mu_X + \ mu_Y)] ^ 2 / [2 (\ sigma_X ^ 2 + \ sigma_Y ^ 2)]} $$

co oznacza

$$ \ mu_ {X + Y} = \ mu_X + \ mu_Y $$

i wariancja

$$ \ sigma_ {X + Y} ^ 2 = \ sigma_X ^ 2 + \ sigma_Y ^ 2 $$

Dla Twoje dane:

• suma: 10,358 MWh
• wariancja: 647,564
• odchylenie standardowe: 804.71 ( sqrt(647564) )

Odpowiadając na pytanie:

• Jak „zsumować” odchylenie standardowe ?

• Sumujesz je kwadratowo:

  s = sqrt(s1^2 + s2^2 + ... + s12^2) 

Koncepcyjnie sumujesz wariancje , a następnie weź pierwiastek kwadratowy, aby otrzymać odchylenie standardowe.

Ponieważ byłem ciekawy, chciałem poznać średnią miesięczną średnią moc i jego odchylenie standardowe . Poprzez indukcję potrzebujemy 12 rozkładów normalnych, które:

• sumują się do średniej 10,358
• sumy do wariancji 647,564

To byłoby 12 średnich miesięcznych dystrybucji:

• średnia z 10,358/12 = 863.16
• wariancja 647,564/12 = 53,963.6
• odchylenie standardowe sqrt(53963.6) = 232.3

Możemy sprawdzić nasze średnie miesięczne rozkłady, dodając je 12 razy, aby zobaczyć, że równy rozkładowi rocznemu:

• Średnia: 863.16*12 = 10358 = 10,358 ( poprawna )
• Wariancja: 53963.6*12 = 647564 = 647,564 ( poprawne )

Uwaga : i „zostawię to komuś, kto zna ezoteryczną matematykę lateksową, aby przekonwertować obrazy moich wzorów, oraz formula code

Edytuj : przeniosłem skrót do punkt, odpowiedz od góry. Ponieważ musiałem to zrobić dzisiaj ponownie, ale chciałem dokładnie sprawdzić, czy uśredniam wariancje .

Komentarze

• To wszystko wydaje się zakładać, że miesiące są nieskorelowane – czy gdziekolwiek przyjęliście to założenie wyraźnie? Ponadto, dlaczego musimy wprowadzić rozkład normalny? Jeśli ' mówimy tylko o wariancji, to wydaje się to niepotrzebne – na przykład zobacz moją odpowiedź tutaj
• @Marco Ponieważ myślę lepiej na zdjęciach i dzięki temu wszystko jest łatwiejsze do zrozumienia.
• @Marco Wydaje mi się, że to pytanie zaczęło się od (obecnie niedziałającej) witryny stats.stackexchange. ściana formuł są mniej dostępne niż prostsze, graficzne, mniej rygorystyczne zabiegi.
• Wątpię, czy to prawda. Wyobraź sobie dwa zestawy danych, z których każdy zawiera tylko jeden pomiar. Ich wariancja każdego zestawu wynosi 0, ale zestaw obu pomiarów ma wariancję większą niż 0, jeśli punkty danych się różnią.
• @Njol, myślę, że ' Dlatego zakładamy, że wszystkie zmienne mają rozkład normalny. I możemy to zrobić tutaj, ponieważ mówimy o pomiarze fizycznym. W Twoim przykładzie obie zmienne nie mają rozkładu normalnego.

To jest stare pytanie, ale odpowiedź została zaakceptowana nie jest w rzeczywistości poprawna ani kompletna. Użytkownik chce obliczyć odchylenie standardowe dla danych 12-miesięcznych, gdzie średnia i odchylenie standardowe jest już obliczane dla każdego miesiąca. Zakładając, że liczba próbek w każdym miesiącu jest taka sama, można obliczyć średnią z próby i wariancję w ciągu roku z danych każdego miesiąca. Dla uproszczenia załóżmy, że mamy dwa zestawy danych:

$ X = \ {x_1, …. x_N \} $

$ Y = \ {y_1, …., y_N \} $

ze znanymi wartościami średniej i wariancji próbki, $ \ mu_x $ , $ \ mu_y $ , $ \ sigma ^ 2_x $ , $ \ sigma ^ 2_y $ .

Teraz chcemy obliczyć te same szacunki dla

$ Z = \ {x_1, …., x_N, y_1, …, y_N \} $ .

Weź pod uwagę, że $ \ mu_x $ , $ \ sigma ^ 2_x $ są obliczane jako:

$ \ mu_x = \ frac {\ sum ^ N_ {i = 1} x_i} {N} $

$ \ sigma ^ 2_x = \ frac {\ sum ^ N_ {i = 1} x ^ 2_i} {N} – \ mu ^ 2_x $

Aby oszacować średnią i wariancję całego zbioru, musimy obliczyć:

$ \ mu_z = \ frac {\ sum ^ N_ {i = 1} x_i + \ sum ^ N_ {i = 1} y_i} {2N} = (\ mu_x + \ mu_y) / 2 $ , który jest podany w zaakceptowanej odpowiedzi. Jednak w przypadku wariancji historia jest inna:

$ \ sigma ^ 2_z = \ frac {\ sum ^ N_ {i = 1} x ^ 2_i + \ sum ^ N_ {i = 1} y ^ 2_i} {2N} – \ mu ^ 2_z $

$ \ sigma ^ 2_z = \ frac {1 } {2} (\ frac {\ sum ^ N_ {i = 1} x ^ 2_i} {N} – \ mu ^ 2_x + \ frac {\ sum ^ N_ {i = 1} y ^ 2_i} {N} – \ mu ^ 2_y) + \ frac {1} {2} (\ mu ^ 2_x + \ mu ^ 2_y) – (\ frac {\ mu_x + \ mu_y} {2}) ^ 2 $

$ \ sigma ^ 2_z = \ frac {1} {2} (\ sigma ^ 2_x + \ sigma ^ 2_y) + (\ frac {\ mu_x- \ mu_y} {2} ) ^ 2 $

Więc jeśli masz wariancję dla każdego podzbioru i chcesz, aby wariancja obejmowała cały zbiór, możesz uśrednić wariancje każdego podzbioru, jeśli wszystkie mają tę samą średnią. W przeciwnym razie musisz dodać wariancję średniej każdego podzbioru.

Powiedzmy, że w pierwszej połowie roku produkujemy dokładnie 1000 MWh dziennie, aw drugiej połowie 2000 MWh. Następnie średnia i wariancja produkcji energii w pierwszym i drugim połowa sekund to 1000 i 2000 dla średniej, a wariancja dla obu połówek wynosi 0. Teraz mogą nas zainteresować dwie różne rzeczy:

1- Chcemy obliczyć wariancję produkcji energii w całym roku : następnie uśredniając dwie wariancje, dochodzimy do zera, co nie jest poprawne, ponieważ dzienna energia w całości rok nie jest stały. W tym przypadku musimy dodać wariancję wszystkich średnich z każdego podzbioru. Matematycznie w tym przypadku zmienną losową będącą przedmiotem zainteresowania jest dzienna produkcja energii. Mamy przykładowe statystyki podzbiorów i chcemy obliczyć próbkę statystyki z dłuższego czasu.

2- Chcemy obliczyć wariancję produkcji energii w ciągu roku: Innymi słowy, interesuje nas, jak bardzo produkcja energii zmienia się z roku na rok. W tym przypadku uśrednienie wariancji prowadzi do poprawnej odpowiedzi, która wynosi 0, ponieważ w każdym roku produkujemy średnio dokładnie 1500 MHW. Matematycznie w tym przypadku zmienną losową będącą przedmiotem zainteresowania jest średnia dzienna produkcja energii, przy czym uśrednianie odbywa się w ciągu całego roku.

Komentarze

• Dobra odpowiedź. Moim zdaniem to, jak to obliczyć, zależy od tego, jak chcesz przedstawić wypadkową SD (i jaką hipotezę chcesz odnieść za pomocą tego SD, jeśli próbujesz porównać z inną farmą wiatrową itp.).

Chciałbym jeszcze raz podkreślić nieprawidłowości w części zaakceptowanej odpowiedzi. Sformułowanie pytania prowadzi do nieporozumień.

Pytanie ma średnią i odchylenie standardowe każdego miesiąca, ale nie jest jasne, jakiego rodzaju podzbiór jest używany. Czy jest to średnia z 1 turbiny wiatrowej w całej farmie, czy dzienna średnia z całej farmy? Jeśli jest to średnia dzienna z każdego miesiąca, nie można zsumować średniej miesięcznej, aby uzyskać średnią roczną, ponieważ nie mają one tego samego mianownika. Jeśli jest to średnia jednostkowa, pytanie powinno brzmieć

Można powiedzieć, że w średnim roku każda turbina w farma wiatrowa wytwarza 10 358 MWh, …

Zamiast

Można powiedzieć, że średnio w roku farma wiatrowa wytwarza 10 358 MWh, …

Co więcej, Odchylenie standardowe lub wariancja to porównanie z własną średnią zbioru. NIE zawiera żadnych informacji dotyczących średniej jego zbioru nadrzędnego (większego zbioru, którego składnikiem jest wyliczany zbiór).

Obraz niekoniecznie jest bardzo dokładny, ale przekazuje ogólną ideę. Wyobraźmy sobie wyjście jednej farmy wiatrowej tak, jak na obrazku. Jak widać, ” lokalna ” wariancja nie ma nic do zrobić z ” global ” wariancją, niezależnie od tego, jak je dodasz lub pomnożesz. Jeśli dodasz ” lokalne ” wariancje razem, będą bardzo małe w porównaniu z ” global ” wariancja. Nie można przewidzieć wariancji roku przy użyciu wariancji dwóch półrocza. Zatem w zaakceptowanej odpowiedzi, mimo że obliczenie sumy jest poprawne, dzielenie przez 12, aby uzyskać miesięczny numer, nic nie znaczy. . Z trzech sekcji pierwsza i ostatnia sekcja jest błędna, druga jest poprawna.

Znowu to bardzo zła aplikacja, nie stosuj się do niej, bo spowoduje to kłopoty. Po prostu oblicz dla całości, używając całkowitej rocznej / miesięcznej produkcji każdej jednostki jako punktów danych, w zależności od tego, czy chcesz uzyskać roczną, czy miesięczną liczbę, to powinna być poprawna odpowiedź. Prawdopodobnie chcesz czegoś takiego. To są moje losowo wygenerowane liczby. Jeśli masz dane, odpowiedź w komórce O2 powinna być Twoją odpowiedzią.

Komentarze

• Bardzo dziękuję za obraz, który pomógł mi bardzo zrozumieć, dlaczego zaakceptowana odpowiedź jest niekompletna i może nawet się mylę. Bardzo dobrze to wyjaśniłeś, dziękuję!
• To pokazuje niebezpieczeństwo związane z głosowaniem. Głosujący to ludzie, którzy nie ' nie znają odpowiedzi. W przeciwieństwie do kodowania, głosujący to ludzie, którym kod działa, im więcej głosów, tym lepsza odpowiedź.W przypadku statystyk / matematyki więcej głosów oznacza, że ' jest bardziej atrakcyjne.

TL; DR

Biorąc pod uwagę kilka dni i dla każdego dnia podajemy jego średnią, próbkę odchylenia standardowego i liczbę próbek oznaczonych jako: $$ \ mu_d, \ \ sigma_d, \ N_d $$ Chcielibyśmy obliczyć średnią i próbną wartość odchylenia standardowego dla wszystkich dni.

Średnia to po prostu średnia ważona: $$ \ mu = \ frac {\ sum {\ mu_dN_d}} {\ sum {N_d}} = \ frac {\ sum {\ mu_dN_d}} {N} $$

Przykładem StdDev jest to: $$ \ sigma = \ sqrt {\ frac {\ sum_ {d} {(\ sigma_d ^ 2 (N_d-1) + N_d (\ mu- \ mu_d) ^ 2})} {N-1}} $$ Gdzie indeks d oznacza dzień, w którym zebraliśmy Średnia, Odchylenie standardowe próbki i liczbę próbek dla.

Szczegóły

Mieliśmy podobny problem, w którym mieliśmy proces obliczający średnią dzienną i Przykładowy StdDev i zapisuje obok liczby próbek pobieranych dziennie. Korzystając z tych danych wejściowych, musieliśmy obliczyć średnią tygodniową / miesięczną i odchylenie standardowe. Liczba próbek na dzień nie była stała w naszym przypadku.

Oznacz średnią, przykładowe odchylenie standardowe i Liczba próbek całego zestawu jako: $$ \ mu, \ \ sigma \ i \ N \ $$ A na dzień d oznacza średnią, przykładową wartość odchylenia standardowego i liczbę próbek jako: $$ \ mu_d, \ \ sigma_d, \ N_d $$ Obliczenie średniej dla całego zestawu to po prostu aa Średnia ważona z dni, o których mowa: $$ \ mu = \ frac {\ sum {\ mu_dN_d} } {\ sum {N_d}} = \ frac {\ sum {\ mu_dN_d}} {N} $$ Jednak rozważenie przykładowego odchylenia standardowego wymaga znacznie większego wysiłku. W przypadku przykładowego StdDev dnia mamy: $$ \ sigma_d = \ sqrt {\ frac {\ sum_ {N_d} (x_j- \ mu_d) ^ 2} {N_d-1} } $$ Najpierw trochę porządkowania: $$ \ sigma_d ^ 2 (N_d-1) = \ sum_ {N_d} (x_j- \ mu_d) ^ 2 $ $ Spójrzmy na prawy wyraz powyższego równania. Jeśli możemy osiągnąć z tej sumy następującą sumę dziennie: $$ \ sum_ {N_d} {(x_j- \ mu) ^ 2} $$ , a następnie zsumowanie Dni dadzą nam to, czego szukamy, ponieważ dni są rozłączne i obejmują cały zestaw: $$ \ sum_ {d} {\ sum_ {N_d} {(x_j- \ mu ) ^ 2}} = \ sum_ {N} {(x_j- \ mu) ^ 2} $$ Spostrzeżenie, aby uzyskać od codziennego StdDev do całego zestawu „s StdDev” polega na zauważeniu, że chociaż nie mamy próbki dzienne, mamy sumę próbek dziennych do średniej dziennej . Biorąc pod uwagę ten wgląd, popracujmy nad prawym wyrażeniem powyższego równania: $$ \ sum_ {N_d} (x_j- \ mu_d) ^ 2 = \ sum_ {N_d} {(x_j ^ 2-2x_j \ mu_d + \ mu_d ^ 2)} = \\ = \ sum_ {N_d} {(x_j ^ 2-2x_j \ mu_d + \ mu_d ^ 2)} + (\ sum_ {N_d} {\ mu ^ 2} – \ sum_ {N_d} {\ mu ^ 2}) + (2 \ sum_ {N_d} {x_j (\ mu- \ mu_d}) – 2 \ sum_ {N_d} {x_j (\ mu- \ mu_d}) ) $$ W tym momencie nie zrobiliśmy nic, tylko dodaliśmy i odjęliśmy wyrazy, które będą zerować, zachowując to samo równanie. Teraz, skoro sumujemy przez N _d na wszystkich sumach, przepiszmy podsumowania dla przyjemności i zysku: $$ \ require {cancel} = \ sum_ {N_d} {(x_j ^ 2-2x_j (\ cancel {\ mu_d} + \ mu- \ cancel { \ mu_d}) + \ mu ^ 2)} + \ sum_ {N_d} {\ mu_d ^ 2} – \ sum_ {N_d} {\ mu ^ 2} +2 \ sum_ {N_d} {x_j (\ mu- \ mu_d }) $$ Suma jest powyżej j , więc terminy sumowania, które nie są zależne od j, można po prostu pomnożyć N _d : $$ = \ sum_ {N_d} {(x_j ^ 2-2x_j \ mu + \ mu ^ 2)} + N_d \ mu_d ^ 2- N_d \ mu ^ 2 + 2 \ sum_ {N_d} {x_j (\ mu- \ mu_d)} $$ I zbliżamy się do siebie: $$ = \ sum_ {N_d} {(x_j- \ mu) ^ 2} + N_d \ mu_d ^ 2-N_d \ mu ^ 2 + 2 \ sum_ {N_d} {x_j (\ mu- \ mu_d)} $$ Teraz zajmijmy się terminem znajdującym się najbardziej po prawej stronie, ponieważ nie możemy użyć x _j bezpośrednio, ale możemy użyć jego sumy tak, jak mamy średnią z tego dnia. Po prostu pomnóż i podziel przez N _d , aby uzyskać średnią: $$ = \ sum_ {N_d} {(x_j- \ mu) ^ 2} + N_d \ mu_d ^ 2-N_d \ mu ^ 2 + 2 (\ mu- \ mu_d) {N_d} (\ frac {1} {N_d} \ sum_ {N_d} {x_j}) \\ = \ sum_ {N_d} {(x_j – \ mu) ^ 2} + N_d \ mu_d ^ 2-N_d \ mu ^ 2 + 2 (\ mu- \ mu_d) {N_d} \ mu_d $$ W tym momencie mamy sumę, którą musimy obliczyć cały zestaw „Sample StdDev” i wszystkie inne terminy to znane nam wielkości, a mianowicie statystyki dzienne i liczba próbek.Podłączmy go z powrotem do powyższego kroku czyszczenia: $$ \ sigma_d ^ 2 (N_d-1) = \ sum_ {N_d} {(x_j- \ mu) ^ 2 } + N_d \ mu_d ^ 2-N_d \ mu ^ 2 + 2 (\ mu- \ mu_d) {N_d} \ mu_d \\ \ leftrightarrow \ \ sigma_d ^ 2 (N_d-1) -N_d \ mu_d ^ 2 + N_d \ mu ^ 2-2N_d \ mu_d (\ mu- \ mu_d) = \ sum_ {N_d} {(x_j- \ mu) ^ 2} \\ \ leftrightarrow \ \ sigma_d ^ 2 (N_d-1) + N_d (\ mu- \ mu_d) ^ 2 = \ sum_ {N_d} {(x_j- \ mu) ^ 2} $$ Jesteśmy teraz gotowi do obliczenia zestawu „s Sample StdDev: $$ \ sigma = \ sqrt {\ frac {\ sum_ {N} (x_j- \ mu) ^ 2} {N-1}} \\ = \ sqrt {\ frac {\ sum_ {d} {\ sum_ {N_d } (x_j- \ mu) ^ 2}} {N-1}} \\ = \ sqrt {\ frac {\ sum_ {d} {(\ sigma_d ^ 2 (N_d-1) + N_d (\ mu- \ mu_d ) ^ 2})} {N-1}} $$

Komentarze

• Twój zapis jest dla mnie nieco zagmatwany, nie ' nie wyjaśnia, co oznacza & odchylenia standardowe to znane (zakładane) parametry & które są przykładowymi szacunkami.
• Znane są Nd, Mu-d, Sigma-d, musimy obliczyć N, Mu, Sigma. Obliczanie N i Mu jest trywialne, Sigma jest zaangażowana ..

Wierzę, co możesz być naprawdę zainteresowany to błąd standardowy , a nie odchylenie standardowe.

Standardowy błąd średniej (SEM) jest standardem odchylenie średniej próby oszacowania średniej populacji, a to da ci miarę, jak dobre jest twoje roczne oszacowanie MWh.

Bardzo łatwo jest obliczyć: jeśli użyłeś $ n $ próbek, aby otrzymać miesięczne średnie MWh i odchylenia standardowe, po prostu obliczysz odchylenie standardowe zgodnie z sugestią @IanBoyd i znormalizujesz je według całkowitego rozmiaru twojej próbki. To znaczy
$$ s = \ frac {\ sqrt {s_1 ^ 2 + s_2 ^ 2 + \ ldots + s_ {12} ^ 2}} {\ sqrt {12 \ times n}} $$