Jak se korelační koeficient liší od regrese?

Za předpokladu, že mluvíte o jednoduchém regresní model $$ Y_i = \ alpha + \ beta X_i + \ varepsilon_i $$ odhadovaný podle nejmenších čtverců, z wikipedie víme, že $$ \ hat {\ beta } = {\ rm cor} (Y_i, X_i) \ cdot \ frac {{\ rm SD} (Y_i)} {{\ rm SD} (X_i)} $$ Proto se tyto dva shodují pouze tehdy, když $ {\ rm SD} (Y_i) = {\ rm SD} (X_i) $. To znamená, že se shodují pouze tehdy, když jsou obě proměnné v určitém smyslu ve stejném měřítku. Nejběžnějším způsobem, jak toho dosáhnout, je standardizace, jak naznačuje @gung .

Dva, v s Ome smysl vám poskytne stejné informace – každý vám řekne sílu lineárního vztahu mezi $ X_i $ a $ Y_i $ . Každý z nich vám ale poskytne odlišné informace (samozřejmě kromě případů, kdy jsou přesně stejné):

• Korelace vám poskytne omezené měření, které lze interpretovat nezávisle na měřítko dvou proměnných. Čím blíže je odhadovaná korelace k $ \ pm 1 $, tím blíže jsou dva k dokonalému lineárnímu vztahu . Regresní sklon vám izolovaně tuto informaci neřekne.

• Regresní sklon udává užitečné množství interpretované jako odhadovaná změna očekávané hodnoty $ Y_i $ pro danou hodnotu $ X_i $. Konkrétně vám $ \ hat \ beta $ řekne změnu v očekávané hodnotě $ Y_i $, což odpovídá zvýšení o 1 jednotku v $ X_i $. Tuto informaci nelze odvodit ze samotného korelačního koeficientu.

Komentáře

• Jako důsledek této odpovědi si všimněte, že regrese x proti y není inverzní k regresi y proti x!

S jednoduchou lineární regresí (tj. pouze 1 kovariát), sklon $ \ beta_1 $ je stejné jako Pearsonovo $ r $, pokud byly obě proměnné nejprve standardizovány . (Další informace naleznete zde užitečné.) Když provádíte vícenásobnou regresi, může to být komplikovanější kvůli multicollinearity atd.

Komentáře

• V jednoduché lineární regrese, jak ukazuje Makro výše, $ \ hat {\ beta} = r_ {xy} \ frac {s_y} {s_x} $. Existuje analogický výraz pro vícenásobnou regresi? Zdá se, že neexistuje ‚ t z toho důvodu, že ‚ se snažíte získat “ multicollinearity, “ ale já myslíte, že jste zde opravdu mysleli kovarianci?
• @Iamanon, zkuste přečíst: Vícenásobný regresní nebo částečný korelační koeficient? A vztahy mezi nimi .

korelační koeficient měří „těsnost“ lineárního vztahu mezi dvěma proměnnými a je ohraničen mezi -1 a 1 včetně. Korelace blízké nule nepředstavují žádnou lineární asociaci mezi proměnnými, zatímco korelace blízké -1 nebo +1 naznačují silný lineární vztah. Čím je intuitivněji, tím snazší je nakreslit čáru, která nejlépe odpovídá scatterplotu, tím více souvisí.

Regresní sklon měří „strmost“ lineárního vztahu mezi dvěma proměnnými a může nabývat jakékoli hodnoty od $ – \ infty $ do $ + \ infty $. Sklony blízko nuly znamenají, že proměnná odezvy (Y) se mění pomalu, jak se mění proměnná prediktoru (X). Sklony, které jsou dále od nuly (buď v negativním nebo pozitivním směru), znamenají, že reakce se mění rychleji, jak se mění prediktor. Pokud byste intuitivně nakreslili čáru nejvhodnější pomocí bodového grafu, tím strmější je, čím dále je váš sklon od nuly.

Takže korelační koeficient a regresní sklon MUSÍ mít stejné znaménko (+ nebo -), ale téměř nikdy nebudou mít stejnou hodnotu.

Pro zjednodušení tato odpověď předpokládá jednoduchou lineární regresi.

Komentáře

• naznačujete, že beta může být v $ – \ inf, \ inf $, ale není ‚ k dispozici případ od případu vázaný na beta verzi implikovaný poměrem rozptylu x a y?

Pearsonův korelační koeficient je bezrozměrný a je v měřítku od 1 do 1 bez ohledu na dimenzi a měřítko vstupních proměnných.

Pokud (například) zadáte hmotnost v gramech nebo kilogramech, nebude to mít vliv na hodnotu $ r $, zatímco to bude mít obrovský rozdíl v gradientu / sklonu (který má rozměr a je odpovídajícím způsobem upraven … stejně by to nezměnilo $ r $, pokud bude měřítko jakýmkoli způsobem upraveno, včetně použití libry nebo tuny).

Jednoduchá ukázka (omlouvám se za použití Pythonu!):

import numpy as np x = [10, 20, 30, 40] y = [3, 5, 10, 11] np.corrcoef(x,y)[0][1] x = [1, 2, 3, 4] np.corrcoef(x,y)[0][1] 

ukazuje, že $ r = 0,969363 $, i když sklon byl zvýšen o faktor 10.

Musím přiznat, že je to úhledný trik, že $ r $ má být škálováno mezi -1 a 1 (jeden z těch případů, kdy čitatel nikdy nemůže mít absolutní hodnotu větší než jmenovatel).

Jak @Macro podrobně popsalo výše, sklon $ b = r (\ frac {\ sigma_ {y}} {\ sigma_ {x}}) $, takže intuitivně chápete, že Pearsonův $ r je správný $ souvisí se sklonem, ale pouze při úpravě podle směrodatných odchylek (což účinně obnoví rozměry a měřítka!).

Nejprve jsem si myslel, že je divné, že vzorec naznačuje, že volná přímka (low $ r $) má za následek nižší gradient; pak jsem vynesl příklad a uvědomil si, že vzhledem k přechodu vede změna „uvolněnosti“ ke snížení $ r $, ale je to kompenzováno proporcionálním zvýšením $ \ sigma_ {y} $.

V grafu níže jsou vyneseny čtyři datové sady $ x, y $:

1. výsledky $ y = 3x $ (takže gradient $ b = 3 $, $ r = 1 $, $ \ sigma_ {x } = 2,89 $, $ \ sigma_ {y} = 8,66 $) … všimněte si, že $ \ frac {\ sigma_ {y}} {\ sigma_ {x}} = 3 $
2. stejné, ale změněno náhodným číslem, přičemž $ r = 0,2447 $, $ \ sigma_ {x} = 2,89 $, $ \ sigma_ {y} = 34,69 $, ze kterých můžeme vypočítat $ b = 2,94 $
3. $ y = 15x $ (takže $ b = 15 $ a $ r = 1 $, $ \ sigma_ {x} = 0,58 $, $ \ sigma_ {y} = 8,66 $)
4. stejné jako ( 2) ale se sníženým rozsahem $ x $ tak $ b = 14,70 $ (a stále $ r = 0,2447 $, $ \ sigma_ {x} = 0,58 $, $ \ sigma_ {y} = 34,69 $)

Je vidět, že rozptyl ovlivňuje $ r $, aniž by nutně ovlivňoval $ b $ a měrné jednotky mohou ovlivnit měřítko, a tedy $ b $, aniž by to ovlivnilo $ r $