Jaka jest różnica między resztową sumą kwadratów a zwykłą metodą najmniejszych kwadratów?

Dla mnie wyglądają tak samo, ale nie jestem pewien.

Aktualizacja: z perspektywy czasu nie była to zbyt dobre pytanie. OLS odnosi się do dopasowania wiersza do danych, a RSS to funkcja kosztu używana przez OLS. Znajduje parametry, które dają najmniej pozostała suma błędów kwadratowych . Nosi ona nazwę zwykłe w OLS odnosi się do faktu, że robimy dopasowanie liniowe.

Odpowiedź

Oto definicja z Wikipedii :

W statystyce rezydualna suma kwadratów (RSS) jest sumą kwadratów reszt. Jest to miara rozbieżności między danymi a model szacowania; Zwykłe najmniejsze kwadraty (OLS) to metoda szacowania nieznanego pa rametry w modelu regresji liniowej, w celu zminimalizowania różnic między obserwowanymi odpowiedziami w jakimś arbitralnym zbiorze danych a odpowiedziami przewidywanymi przez liniowe przybliżenie danych.

Więc RSS to miara tego, jak dobrze model aproksymuje dane, podczas gdy OLS to metoda tworzenia dobrego modelu.

Komentarze

  • Masz nie mam pojęcia, jak pomocna jest Twoja odpowiedź!

Odpowiedź

Zwykłe najmniejsze kwadraty (OLS)

Zwykłe najmniejsze kwadraty (OLS) to koń pociągowy statystyki. Daje sposób na podejmowanie skomplikowanych wyników i wyjaśnianie zachowań (takich jak trendy) za pomocą liniowości. Najprostszym zastosowaniem OLS jest umieszczenie linii.

Reszty

Reszty są obserwowalnymi błędami oszacowanych współczynników. W pewnym sensie reszty są szacunkami błędów.

Wyjaśnijmy te rzeczy za pomocą kodu R:

Najpierw dopasuj zwykła najmniejsza kwadratowa linia zestawów danych diamentów w bibliotece UsingR:

library(UsingR) data("diamond") y <- diamond$price x <- diamond$carat n <- length(y) olsline <- lm(y ~ x) plot(x, y, main ="Odinary Least square line", xlab = "Mass (carats)", ylab = "Price (SIN $)", bg = "lightblue", col = "black", cex = 2, pch = 21,frame = FALSE) abline(olsline, lwd = 2) 

wprowadź tutaj opis obrazu

Teraz obliczmy resztę, czyli resztową sumę kwadratów: W R możesz łatwo obliczyć resztę jako resid(olsline), dla wizualizacji obliczmy ją ręcznie:

# The residuals from R method e <- resid(olsline) ## Obtain the residuals manually, get the predicated Ys first yhat <- predict(olsline) # The residuals are y -yhat, Let"s check by comparing this with R"s build in resid function ce <- y - yhat max(abs(e-ce)) ## Let"s do it again hard coding the calculation of Yhat max(abs(e- (y - coef(olsline)[1] - coef(olsline)[2] * x))) # Residuals arethe signed length of the red lines plot(diamond$carat, diamond$price, main ="Residuals sum of (actual Y - predicted Y)^2", xlab = "Mass (carats)", ylab = "Price (SIN $)", bg = "lightblue", col = "black", cex = 2, pch = 21,frame = FALSE) abline(olsline, lwd = 2) for (i in 1 : n) lines(c(x[i], x[i]), c(y[i], yhat[i]), col = "red" , lwd = 2) 

tutaj wprowadź opis obrazu

Mam nadzieję, że ta wizualizacja wyczyści wątpliwości między RSS & OLS

Komentarze

Odpowiedź

W pewnym sensie OLS to model do szacowania linii regresji na podstawie danych uczących. Natomiast RSS jest parametrem pozwalającym poznać dokładność modelu zarówno dla danych testowych, jak i szkoleniowych.

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *