Wat is het verschil tussen de residuale som van kwadraten en gewone kleinste kwadraten?

Ze zien er voor mij hetzelfde uit, maar ik weet het niet zeker.

Update: achteraf gezien was dit niet erg goede vraag. OLS verwijst naar het aanpassen van een regel aan gegevens en RSS is de kostenfunctie die OLS gebruikt. Het vindt de parameters die de minste resterende som van kwadraat fouten. Dit wordt gewone in OLS verwijst naar het feit dat we een lineaire aanpassing uitvoeren.

Antwoord

Hier is een definitie van Wikipedia :

In statistieken is de residuale som van kwadraten (RSS) de som van de kwadraten van residuen. Het is een maat voor de discrepantie tussen de gegevens en een schattingsmodel; Gewone kleinste kwadraten (OLS) is een methode om de onbekende pa te schatten rameters in een lineair regressiemodel, met als doel de verschillen tussen de waargenomen responsen in een willekeurige dataset en de responsen voorspeld door de lineaire benadering van de data te minimaliseren.

RSS is dus een maatstaf van hoe goed het model de gegevens benadert, terwijl OLS een methode om een goed model te bouwen.

Reacties

  • Je hebt geen idee hoe nuttig je antwoord is!

Antwoord

Gewone kleinste kwadraten (OLS)

Gewone kleinste kwadraten (OLS) is het werkpaard van statistieken. Het biedt een manier om gecompliceerde uitkomsten te nemen en gedrag (zoals trends) uit te leggen met behulp van lineariteit. De eenvoudigste toepassing van OLS is passen in een regel.

Residuen

Residuen zijn de waarneembare fouten van de geschatte coëfficiënten. In zekere zin zijn de residuen schattingen van de fouten.

Laten we de dingen uitleggen met R code:

Pas eerst een gewone kleinste vierkante regel van diamantgegevenssets in UsingR bibliotheek:

library(UsingR) data("diamond") y <- diamond$price x <- diamond$carat n <- length(y) olsline <- lm(y ~ x) plot(x, y, main ="Odinary Least square line", xlab = "Mass (carats)", ylab = "Price (SIN $)", bg = "lightblue", col = "black", cex = 2, pch = 21,frame = FALSE) abline(olsline, lwd = 2) 

voer de beschrijving van de afbeelding hier in

Laten we nu de rest, dwz de restsom van kwadraten, berekenen: In R je kunt het residu gemakkelijk berekenen als resid(olsline), voor visualisatie laten we het handmatig berekenen:

# The residuals from R method e <- resid(olsline) ## Obtain the residuals manually, get the predicated Ys first yhat <- predict(olsline) # The residuals are y -yhat, Let"s check by comparing this with R"s build in resid function ce <- y - yhat max(abs(e-ce)) ## Let"s do it again hard coding the calculation of Yhat max(abs(e- (y - coef(olsline)[1] - coef(olsline)[2] * x))) # Residuals arethe signed length of the red lines plot(diamond$carat, diamond$price, main ="Residuals sum of (actual Y - predicted Y)^2", xlab = "Mass (carats)", ylab = "Price (SIN $)", bg = "lightblue", col = "black", cex = 2, pch = 21,frame = FALSE) abline(olsline, lwd = 2) for (i in 1 : n) lines(c(x[i], x[i]), c(y[i], yhat[i]), col = "red" , lwd = 2) 

voer de beschrijving van de afbeelding hier in

Ik hoop dat deze visualisatie uw twijfels tussen RSS & OLS

Reacties

Answer

In zekere zin, OLS is een model om de regressielijn te schatten op basis van trainingsgegevens. Hoewel RSS een parameter is om de nauwkeurigheid van het model te kennen voor zowel test- als trainingsgegevens.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *