Como o coeficiente de correlação difere do declive da regressão?

Presumindo que você está falando sobre um simples modelo de regressão $$ Y_i = \ alpha + \ beta X_i + \ varepsilon_i $$ estimado por mínimos quadrados, sabemos da wikipedia que $$ \ hat {\ beta } = {\ rm cor} (Y_i, X_i) \ cdot \ frac {{\ rm SD} (Y_i)} {{\ rm SD} (X_i)} $$ Portanto, os dois só coincidem quando $ {\ rm SD} (Y_i) = {\ rm SD} (X_i) $. Ou seja, eles só coincidem quando as duas variáveis estão na mesma escala, em algum sentido. A forma mais comum de conseguir isso é por meio da padronização, conforme indicado por @gung .

Os dois, em s De certa forma, fornecem as mesmas informações – cada um deles informa a força da relação linear entre $ X_i $ e $ Y_i $ . Mas, cada um deles fornece informações distintas (exceto, é claro, quando eles são exatamente os mesmos):

• A correlação fornece uma medida limitada que pode ser interpretada independentemente do escala das duas variáveis. Quanto mais próxima a correlação estimada estiver de $ \ pm 1 $, mais próximos os dois estão de um relacionamento linear perfeito . A inclinação da regressão, isoladamente, não fornece essa informação.

• O declive da regressão fornece uma quantidade útil interpretada como a mudança estimada no valor esperado de $ Y_i $ para um determinado valor de $ X_i $. Especificamente, $ \ hat \ beta $ informa a mudança no valor esperado de $ Y_i $ correspondente a um aumento de 1 unidade em $ X_i $. Esta informação não pode ser deduzida apenas do coeficiente de correlação.

Comentários

• Como corolário dessa resposta, observe que a regressão de x contra y não é o inverso da regressão y contra x!

Com regressão linear simples (ou seja, apenas 1 covariável), a inclinação $ \ beta_1 $ é igual a Pearson “s $ r $ se ambas as variáveis foram padronizadas primeiro. (Para obter mais informações, você pode encontrar minha resposta aqui útil.) Quando você está fazendo regressão múltipla, isso pode ser mais complicado devido à multicolinearidade , etc.

Comentários

• Na regressão linear simples, conforme Macro, mostrado acima, $ \ hat {\ beta} = r_ {xy} \ frac {s_y} {s_x} $. Existe um expressão análoga para regressão múltipla? Parece que não existe ‘ t pela razão de você ‘ chegar a ” multicolinearidade, ” mas eu acha que você realmente quis dizer covariância aqui?
• @Iamanon, tente ler: Regressão múltipla ou coeficiente de correlação parcial? E as relações entre os dois .

O o coeficiente de correlação mede a “rigidez” da relação linear entre duas variáveis e está limitado entre -1 e 1, inclusive. Correlações próximas a zero não representam associação linear entre as variáveis, enquanto correlações próximas a -1 ou +1 indicam forte relação linear. Intuitivamente, quanto mais fácil for para você traçar uma linha de melhor ajuste em um gráfico de dispersão, mais correlacionados eles serão.

A declive da regressão mede a “inclinação” da relação linear entre duas variáveis e pode assumir qualquer valor de $ – \ infty $ a $ + \ infty $. Inclinações próximas de zero significam que a variável de resposta (Y) muda lentamente conforme a variável de previsão (X) muda. Inclinações mais distantes de zero (na direção negativa ou positiva) significam que a resposta muda mais rapidamente conforme o preditor muda. Intuitivamente, se você desenhasse uma linha de melhor ajuste em um gráfico de dispersão, quanto mais íngreme ela for, mais longe sua inclinação estará de zero.

Portanto, o coeficiente de correlação e a inclinação da regressão DEVEM ter o mesmo sinal (+ ou -), mas quase nunca terão o mesmo valor.

Para simplificar, esta resposta pressupõe regressão linear simples.

Comentários

• você indicou que o beta pode estar em $ – \ inf, \ inf $, mas não há ‘ um limite de caso a caso no beta implícito pela razão de variância de x e y?

O coeficiente de correlação de Pearson não tem dimensão e é escalado entre -1 e 1, independentemente da dimensão e escala das variáveis de entrada.

Se (por exemplo) você inserir uma massa em gramas ou quilogramas, não fará diferença para o valor de $ r $, ao passo que isso fará uma enorme diferença para o gradiente / inclinação (que tem dimensão e é dimensionado de acordo … da mesma forma, não faria diferença para $ r $ se a escala fosse ajustada de alguma forma, incluindo o uso de libras ou toneladas).

Uma demonstração simples (desculpas por usar Python!):

import numpy as np x = [10, 20, 30, 40] y = [3, 5, 10, 11] np.corrcoef(x,y)[0][1] x = [1, 2, 3, 4] np.corrcoef(x,y)[0][1] 

mostra que $ r = 0,969363 $, embora a inclinação tenha sido aumentada por um fator de 10.

Devo confessar que é “um truque bacana que $ r $ passa a ser escalado entre -1 e 1 (um daqueles casos em que o numerador nunca pode ter um valor absoluto maior que o denominador).

Como @Macro detalhou acima, declive $ b = r (\ frac {\ sigma_ {y}} {\ sigma_ {x}}) $, então você está correto em intuir que Pearson “s $ r $ está relacionado à inclinação, mas apenas quando ajustado de acordo com os desvios padrão (o que efetivamente restaura as dimensões e escalas!).

A princípio achei estranho que a fórmula parecesse sugerir que uma linha mal ajustada ($ r $ baixo) resulta em um gradiente inferior; então plotei um exemplo e percebi que dado um gradiente, variando a “frouxidão” resulta em $ r $ decrescente, mas isso é compensado por um aumento proporcional em $ \ sigma_ {y} $.

No gráfico abaixo, quatro conjuntos de dados $ x, y $ são plotados:

1. os resultados de $ y = 3x $ (então gradiente $ b = 3 $, $ r = 1 $, $ \ sigma_ {x } = 2,89 $, $ \ sigma_ {y} = 8,66 $) … note que $ \ frac {\ sigma_ {y}} {\ sigma_ {x}} = 3 $
2. o mesmo, mas variado por um número aleatório, com $ r = 0,2447 $, $ \ sigma_ {x} = 2,89 $, $ \ sigma_ {y} = 34,69 $, a partir do qual podemos calcular $ b = 2,94 $
3. $ y = 15x $ (então $ b = 15 $ e $ r = 1 $, $ \ sigma_ {x} = 0,58 $, $ \ sigma_ {y} = 8,66 $)
4. o mesmo que ( 2) mas com intervalo reduzido $ x $ então $ b = 14,70 $ (e ainda $ r = 0,2447 $, $ \ sigma_ {x} = 0,58 $, $ \ sigma_ {y} = 34,69 $)

Pode-se ver que a variância afeta $ r $ sem necessariamente afetar $ b $ e unidades de medida podem afetar a escala e, portanto, $ b $ sem afetar $ r $