¿Cuál es la diferencia entre la suma residual de cuadrados y los mínimos cuadrados ordinarios?

A mí me parecen lo mismo, pero no estoy seguro.

Actualización: en retrospectiva, esto no fue muy buena pregunta. OLS se refiere a ajustar una línea a los datos y RSS es la función de costo que usa OLS. Encuentra los parámetros que dan el menos suma residual de errores cuadrados . Se denomina ordinario en OLS se refiere al hecho de que estamos haciendo un ajuste lineal.

Respuesta

Aquí hay una definición de Wikipedia :

En estadística, la suma de cuadrados de los residuos (RSS) es la suma de los cuadrados de los residuos. Es una medida de la discrepancia entre los datos y un modelo de estimación; mínimos cuadrados ordinarios (MCO) es un método para estimar el pa desconocido parámetros en un modelo de regresión lineal, con el objetivo de minimizar las diferencias entre las respuestas observadas en algún conjunto de datos arbitrario y las respuestas predichas por la aproximación lineal de los datos.

Por tanto, RSS es una medida de qué tan bueno el modelo se aproxima a los datos, mientras que OLS es una método de construir un buen modelo.

Comentarios

  • Tienes ¡ni idea de lo útil que es tu respuesta!

Responder

Mínimos cuadrados ordinarios (MCO)

Los mínimos cuadrados ordinarios (MCO) son el caballo de batalla de las estadísticas. Ofrece una forma de tomar resultados complicados y explicar el comportamiento (como las tendencias) utilizando la linealidad. La aplicación más simple de OLS es ajustar una línea.

Residuales

Residuales son los errores observables de los coeficientes estimados. En cierto sentido, los residuos son estimaciones de los errores.

Expliquemos las cosas usando el código R:

Primero, ajuste un línea ordinaria de mínimos cuadrados de conjuntos de datos de diamantes en la UsingR biblioteca:

library(UsingR) data("diamond") y <- diamond$price x <- diamond$carat n <- length(y) olsline <- lm(y ~ x) plot(x, y, main ="Odinary Least square line", xlab = "Mass (carats)", ylab = "Price (SIN $)", bg = "lightblue", col = "black", cex = 2, pch = 21,frame = FALSE) abline(olsline, lwd = 2) 

ingrese la descripción de la imagen aquí

Ahora, calculemos la suma de cuadrados residual, es decir, residual: En R puede calcular fácilmente el residuo como resid(olsline), para la visualización, calculemoslo manualmente:

# The residuals from R method e <- resid(olsline) ## Obtain the residuals manually, get the predicated Ys first yhat <- predict(olsline) # The residuals are y -yhat, Let"s check by comparing this with R"s build in resid function ce <- y - yhat max(abs(e-ce)) ## Let"s do it again hard coding the calculation of Yhat max(abs(e- (y - coef(olsline)[1] - coef(olsline)[2] * x))) # Residuals arethe signed length of the red lines plot(diamond$carat, diamond$price, main ="Residuals sum of (actual Y - predicted Y)^2", xlab = "Mass (carats)", ylab = "Price (SIN $)", bg = "lightblue", col = "black", cex = 2, pch = 21,frame = FALSE) abline(olsline, lwd = 2) for (i in 1 : n) lines(c(x[i], x[i]), c(y[i], yhat[i]), col = "red" , lwd = 2) 

ingrese la descripción de la imagen aquí

Espero que esta visualización borre su dudas entre RSS & OLS

Comentarios

Respuesta

En cierto modo, OLS es un modelo para estimar la línea de regresión en función de los datos de entrenamiento. Mientras, RSS es un parámetro para conocer la precisión del modelo tanto para los datos de prueba como para los de entrenamiento.

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *