잔류 표준 오차는 무엇입니까?

적합 회귀 모델은 모수를 사용하여 동일한 $ X $ 값으로 연구를 무한 반복하는 경우 (그리고 선형 모델이 참일 때) 관찰 된 반응의 수단 인 점 추정 예측을 생성합니다. 이러한 예측 값과 모델을 맞추기 위해 사용 된 값의 차이를 “잔차”라고하며, 데이터 수집 프로세스를 복제 할 때 평균이 0 인 랜덤 변수의 속성을 갖습니다.

그런 다음 관측 된 잔차를 사용하여 이러한 값의 변동성을 추후에 추정하고 매개 변수의 샘플링 분포를 추정합니다. 잔차 표준 오차가 정확히 0이면 모형이 데이터를 완벽하게 적합합니다 (과잉 적합). 잔차 표준 오차가 무조건 반응의 변동성과 크게 다를 수없는 경우 선형 모델에 예측 능력이 있다는 증거가 거의 없습니다.

댓글

• 이전에 답변했을 수 있습니다. 이 질문이 필요한 답변을 제공하는지 확인하십시오. [R ' s lm () 출력 해석] [1] [1] : stats.stackexchange.com/questions/5135 / …

다음 ANOVA 테이블이 있어야합니다 (R “의 example(aov) 명령에서 수정 됨).

 Df Sum Sq Mean Sq F value Pr(>F) Model 1 37.0 37.00 0.483 0.525 Residuals 4 306.3 76.57 

합을 나누는 경우 모든 변동 원인 (모델 또는 잔차)에서 각 자유도에 따라 제곱의 평균 제곱을 얻습니다. 특히 잔차의 경우 :

$$ \ frac {306.3} {4} = 76.575 \ 약 76.57 $$

76.57은 잔차의 평균 제곱, 즉 반응 변수에 대한 잔차 (모델 적용 후) 변동의 양입니다.

잔여 표준 오류 는 양의 제곱근에 지나지 않습니다. 평균 제곱 오차 . 내 예에서 잔여 표준 오차는 $ \ sqrt {76.57} $ 또는 약 8.75와 같습니다. R은이 정보를 “8.75 on 4 자유도”로 출력합니다.

댓글

• 나는 @AdamO의 답변에 찬성 투표를했습니다. 회귀를 가장 자주 사용하는 사람에게 그 대답은 저에게 가장 간단했습니다. 그러나 ANOVA와 선형 회귀 간의 표기 / 개념 / 방법 론적 관계를 보여주는이 답변에 감사드립니다.

일반적으로 회귀 모델은 다음과 같습니다. $$ Y = \ beta_ {0} + \ beta_ {1} X + \ epsilon $$ 여기서 $ \ epsilon $은 $ X $와 무관 한 오류 항입니다.

$ \ beta_ {0} $ 및 $ \ beta_ {1} $를 알고 있다면 $ \ epsilon $ 때문에 X를 사용하여 Y를 완벽하게 예측할 수 없습니다. 따라서 RSE를 표준 편차 $ \ epsilon $의 판단 값으로 사용합니다.

RSE는 “통계 학습 입문”에서 매우 명확하게 설명됩니다.

댓글

• 이것은 허용되는 답변이어야합니다. RSE는 $ \ epsilon $의 표준 편차, 즉 잔차의 추정치입니다. 잔차 표준 편차 (RSD)라고도하는 '는 $ RSE = \ sqrt {\ frac {RSS} {(n-2)}}로 정의 할 수 있습니다. $ (예 : ISL 66 페이지 참조).
• ISL epub를 읽는 사람은 " 66 페이지 " with ctrl-f " 잔여 표준 오류. " (Epub 파일에 실제 페이지 번호가 없음)

잔여 표준 오류 는 $ \ sqrt {MSE} $ 입니다. $ MSE $ 는 $ \ sigma ^ 2 $ 의 편향되지 않은 추정량입니다. 여기서 $ \ sigma ^ 2 = Var (y | x) $ .

@Silverfish 및 @Waldir Leoncio의 답변을 더 명확하게하기 위해.
모든 정의에 대한 요약이 아래에 나와 있습니다. 이러한 용어로 인해 항상 혼란 스러웠습니다. 더 나은 형식을위한 주석으로 만드는 대신 여기에 입력하세요.

SLR / Simple Linear의 Anova 테이블 회귀 (다중 회귀에서는 DF가 다름) :