残余標準誤差とは何ですか？

適合回帰モデルはパラメーターを使用して、同じ$ X $値を使用して調査を無限に複製する場合（および線形モデルが真の場合）に観測された応答の平均である点推定予測を生成します。これらの予測値とモデルの適合に使用される値の差は「残差」と呼ばれ、データ収集プロセスを複製するときに、平均が0の確率変数のプロパティを持ちます。

次に、観測された残差を使用して、これらの値の変動性を推定し、パラメーターのサンプリング分布を推定します。残差標準誤差が正確に0の場合、モデルはデータに完全に適合します（おそらく過剰適合が原因です）。残差標準誤差が無条件応答の変動性と有意に異なることを示すことができない場合、線形モデルに予測能力があることを示唆する証拠はほとんどありません。

コメント

• これは以前に回答された可能性があります。この質問があなたが必要とする答えを提供するかどうか見てください。 [R 'のlm（）出力の解釈] [1] [1]： stats.stackexchange.com/questions/5135 / …

次のANOVAテーブルがあります（Rのexample(aov)コマンドから採用）：

 Df Sum Sq Mean Sq F value Pr(>F) Model 1 37.0 37.00 0.483 0.525 Residuals 4 306.3 76.57 

合計を除算する場合それぞれの自由度による任意の変動源（モデルまたは残差）からの二乗の平均二乗を取得します。特に残差の場合：

$$ \ frac {306.3} {4} = 76.575 \約76.57 $$

つまり、76.57は残差の平均二乗、つまり、応答変数の（モデルを適用した後の）残差の変動量です。

残りの標準エラーについて質問したのは、の正の平方根にすぎません。平均二乗誤差。私の例では、残差の標準誤差は$ \ sqrt {76.57} $、つまり約8.75に等しくなります。 Rは、この情報を「4自由度で8.75」として出力します。

コメント

• @AdamOからの回答に賛成票を投じました。回帰を最も頻繁に使用する人は、その答えが私にとって最も簡単でした。ただし、この回答は、ANOVAと線形回帰の表記/概念/方法論の関係を示しているため、感謝しています。

通常、回帰モデルは次のようになります。$$ Y = \ beta_ {0} + \ beta_ {1} X + \ epsilon $$ここで、$ \ epsilon $は$ X $に依存しない誤差項です。

$ \ beta_ {0} $と$ \ beta_ {1} $がわかっている場合でも、$ \ epsilon $のため、Xを使用してYを完全に予測することはできません。したがって、$ \ epsilon $の標準偏差の判断値としてRSEを使用します。

RSEは、「統計学習入門」でかなり明確に説明されています。

コメント

• これは受け入れられた答えであるはずです。 RSEは、$ \ epsilon $の標準偏差、つまり残余の推定値にすぎません。 'は、残差標準偏差（RSD）とも呼ばれ、$ RSE = \ sqrt {\ frac {RSS} {（n-2）}}として定義できます。 $（たとえば、ISLの66ページを参照）。
• ISLのepubを読んでいる人は、"ページ66 "とctrl-f "残りの標準エラー。"（Epubファイルには実際のページ番号がありません）。

残りの標準エラーは $ \ sqrt {MSE} $ です。 $ MSE $ は、 $ \ sigma ^ 2 $ の不偏推定量です。ここで、 $ \ sigma ^ 2 = Var（y | x）$ 。

@Silverfishと@WaldirLeoncioによる回答をより明確にするため。
すべての定義の要約を以下に示します。これらの用語は常に混乱します。フォーマットを改善するためにコメントとして作成するのではなく、ここに入力してください。

SLR / SimpleLinearのAnovaテーブル回帰（DFは重回帰では異なります）：