Czym różni się współczynnik korelacji od nachylenia regresji?

Zakładając, że mówisz o prostym model regresji $$ Y_i = \ alpha + \ beta X_i + \ varepsilon_i $$ oszacowany metodą najmniejszych kwadratów, wiemy z wikipedii , że $$ \ hat {\ beta } = {\ rm cor} (Y_i, X_i) \ cdot \ frac {{\ rm SD} (Y_i)} {{\ rm SD} (X_i)} $$ Dlatego te dwa pokrywają się tylko wtedy, gdy $ {\ rm SD} (Y_i) = {\ rm SD} (X_i) $. Oznacza to, że pokrywają się one tylko wtedy, gdy dwie zmienne mają w pewnym sensie tę samą skalę. Najczęstszym sposobem osiągnięcia tego jest standaryzacja, jak wskazuje @gung .

Dwie w s w pewnym sensie podają te same informacje – każdy z nich mówi o sile liniowej relacji między $ X_i $ a $ Y_i $ . Ale każdy z nich daje różne informacje (z wyjątkiem, oczywiście, gdy są dokładnie takie same):

• Korelacja daje ograniczony pomiar, który można interpretować niezależnie od skala dwóch zmiennych. Im bliżej szacowanej korelacji jest $ \ pm 1 $, , tym bliżej jest do idealnej zależności liniowej . Samo nachylenie regresji nie dostarcza ci tej informacji.

• Nachylenie regresji daje użyteczną wielkość interpretowaną jako szacunkowa zmiana oczekiwanej wartości $ Y_i $ dla danej wartości $ X_i $. W szczególności $ \ hat \ beta $ mówi ci o zmianie oczekiwanej wartości $ Y_i $ odpowiadającej wzrostowi o 1 jednostkę w $ X_i $. Tej informacji nie można wywnioskować z samego współczynnika korelacji.

Komentarze

• W konsekwencji tej odpowiedzi zwróć uwagę, że regresja x względem y nie jest odwrotnością regresji y przeciwko x!

W przypadku prostej regresji liniowej (tj. tylko 1 współzmienna) nachylenie $ \ beta_1 $ jest tym samym, co Pearson „s $ r $, gdyby obie zmienne były najpierw znormalizowane . (Aby uzyskać więcej informacji, moją odpowiedź można znaleźć tutaj pomocna.) W przypadku regresji wielokrotnej może to być bardziej skomplikowane z powodu wielokoliniowości itp.

Komentarze

• W prostej regresji liniowej, jak pokazuje makro powyżej, $ \ hat {\ beta} = r_ {xy} \ frac {s_y} {s_x} $. Czy istnieje analogiczne wyrażenie dla regresji wielorakiej? Wygląda na to, że nie ma ' t z powodu, dla którego ' masz do czynienia z ” wielokoliniowość, ” ale ja myślisz, że naprawdę chodziło Ci o kowariancję?
• @Iamanon, spróbuj przeczytać: Współczynnik regresji wielorakiej czy częściowej korelacji? Oraz relacje między nimi .

współczynnik korelacji mierzy „szczelność” zależności liniowej między dwiema zmiennymi i jest ograniczona między -1 a 1 włącznie. Korelacje bliskie zeru oznaczają brak liniowego związku między zmiennymi, podczas gdy korelacje bliskie -1 lub +1 wskazują na silną zależność liniową. Intuicyjnie, im łatwiej jest narysować linię najlepiej dopasowaną na wykresie rozrzutu, tym są one bardziej skorelowane.

nachylenie regresji mierzy „stromość” liniowej zależności między dwiema zmiennymi i może przyjąć dowolną wartość od $ – \ infty $ do $ + \ infty $. Nachylenia bliskie zeru oznaczają, że zmienna odpowiedzi (Y) zmienia się powoli wraz ze zmianą zmiennej predykcyjnej (X). Nachylenia, które są dalej od zera (w kierunku ujemnym lub dodatnim) oznaczają, że odpowiedź zmienia się szybciej, gdy zmienia się predyktor. Intuicyjnie, jeśli miałbyś narysować linię najlepiej dopasowaną na wykresie rozrzutu, im bardziej jest ona stroma, tym dalej nachylenie jest od zera.

Zatem współczynnik korelacji i nachylenie regresji MUSZĄ mieć ten sam znak (+ lub -), ale prawie nigdy nie będą miały takiej samej wartości.

Dla uproszczenia ta odpowiedź zakłada prostą regresję liniową.

Komentarze

• stwierdzasz, że beta może być w $ – \ inf, \ inf $, ale czy nie ' czy nie ma powiązania z wersją beta wynikającego ze współczynnika wariancji x i y?

Współczynnik korelacji Pearsona jest bezwymiarowy i wyskalowany w zakresie od -1 do 1 niezależnie od wymiaru i skali zmiennych wejściowych.

Jeśli (na przykład) wprowadzisz masę w gramach lub kilogramach, nie ma to znaczenia dla wartości $ r $, podczas gdy spowoduje to ogromną różnicę w gradiencie / nachyleniu (które ma wymiar i jest odpowiednio skalowane … podobnie, nie miałoby to znaczenia dla $ r $, gdyby skala została skorygowana w jakikolwiek sposób, włączając w to użycie funtów lub ton).

Prosta demonstracja (przepraszam za używanie Pythona!):

import numpy as np x = [10, 20, 30, 40] y = [3, 5, 10, 11] np.corrcoef(x,y)[0][1] x = [1, 2, 3, 4] np.corrcoef(x,y)[0][1] 

pokazuje, że $ r = 0,969363 $, mimo że nachylenie zostało zwiększone o współczynnik 10.

Muszę przyznać, że to „fajna sztuczka, że $ r $ jest skalowane od -1 do 1 (jeden z tych przypadków, w których licznik nigdy nie może mieć wartości bezwzględnej większej niż mianownik).

Jak szczegółowo opisał @Macro, slope $ b = r (\ frac {\ sigma_ {y}} {\ sigma_ {x}}) $, więc masz rację, przeczuwając, że Pearson „s $ r $ jest związane ze spadkiem, ale tylko wtedy, gdy jest dostosowywane zgodnie z odchyleniami standardowymi (co skutecznie przywraca wymiary i skale!).

Na początku wydawało mi się dziwne, że wzór wydaje się sugerować, że luźno dopasowana linia (niski $ r $) skutkuje mniejszym gradientem; następnie wykreśliłem przykład i zdałem sobie sprawę, że przy danym gradiencie zmiana „luzu” skutkuje spadkiem $ r $, ale jest to kompensowane przez proporcjonalny wzrost $ \ sigma_ {y} $.

Na wykresie poniżej wykreślone są cztery zestawy danych $ x, y $:

1. wyniki $ y = 3x $ (czyli gradient $ b = 3 $, $ r = 1 $, $ \ sigma_ {x } = 2,89 $, $ \ sigma_ {y} = 8,66 $) … zauważ, że $ \ frac {\ sigma_ {y}} {\ sigma_ {x}} = 3 $
2. to samo, ale zmienna o liczbę losową, gdzie $ r = 0,2447 $, $ \ sigma_ {x} = 2,89 $, $ \ sigma_ {y} = 34,69 $, z którego możemy obliczyć $ b = 2,94 $
3. $ y = 15x $ (więc $ b = 15 $ i $ r = 1 $, $ \ sigma_ {x} = 0,58 $, $ \ sigma_ {y} = 8,66 $)
4. to samo co ( 2) ale ze zmniejszonym zakresem $ x $ więc $ b = 14,70 $ (i nadal $ r = 0,2447 $, $ \ sigma_ {x} = 0,58 $, $ \ sigma_ {y} = 34,69 $)

Można zauważyć, że wariancja wpływa na $ r $, niekoniecznie wpływając na $ b $, a jednostki miary mogą wpływać na skalę, a zatem $ b $ bez wpływu na $ r $