¿Qué es la regularización en inglés simple?

En términos simples, la regularización es ajustar o seleccionar el nivel preferido de complejidad del modelo para que sus modelos sean mejores para predecir (generalizar). Si no lo hace, es posible que sus modelos sean demasiado complejos y sobreajustados o demasiado simples y desajustados, de cualquier manera dando predicciones deficientes.

Si sus mínimos cuadrados ajustan un modelo complejo a un pequeño conjunto de datos de entrenamiento probablemente sobreajustará, esta es la situación más común. La complejidad óptima del modelo depende del tipo de proceso que esté modelando y la calidad de los datos, por lo que no hay una complejidad correcta a priori de un modelo.

Para regularizar necesitas 2 cosas:

1. Una forma de probar qué tan buenos son tus modelos en la predicción, por ejemplo, usando validación cruzada o un conjunto de datos de validación ( no puedo usar el error de ajuste para esto).
2. Un parámetro de ajuste que le permite cambiar la complejidad o suavidad del modelo, o una selección de modelos de diferente complejidad / suavidad.

Básicamente, ajusta el parámetro de complejidad (o cambia el modelo) y encuentra el valor que proporciona las mejores predicciones del modelo.

Tenga en cuenta que el error de regularización optimizado no será una estimación precisa de la predicción general error, por lo que después de la regularización, finalmente tendrá que usar un conjunto de datos de validación adicional o realizar algún análisis estadístico adicional para obtener un error de predicción imparcial.

Una alternativa al uso de pruebas de validación (cruzada) es usar Bayesian Priors o otros métodos para penalizar la complejidad o la falta de uniformidad, pero estos requieren más sofisticación estadística y conocimiento del problema y las características del modelo.

Comentarios

• +1 de mi parte. Me gusta que esta respuesta comience por el principio y sea tan fácil de entender …
• ¿Se ha utilizado la regularización para reducir la falta de adaptación? En mi experiencia, la regularización se aplica en un modelo complejo / sensible para reducir la complejidad / sensibilidad, pero nunca en un modelo simple / insensible para aumentar la complejidad / sensibilidad.
• Esta respuesta ahora es bastante antigua, pero supongo que a lo que Toby se refería es a que la regularización es una forma basada en principios de ajustar un modelo de complejidad apropiada dada la cantidad de datos; es una alternativa tanto a la selección a priori de un modelo con muy pocos parámetros (o los incorrectos) como a la selección de un modelo demasiado complejo y sobreajustado.

Suponga que realiza el aprendizaje mediante la minimización empírica del riesgo.

Más precisamente:

• tiene su función de pérdida no negativa $ L (\ text {valor real}, \ text {valor predicho}) $ que caracteriza cómo mal sus predicciones son
• desea ajustar su modelo de tal manera que sus predicciones minimicen la función de media de pérdida, calculada solo sobre los datos de entrenamiento (los únicos datos que tiene)

Entonces, el objetivo del proceso de aprendizaje es encontrar $ \ text {Model} = \ text {argmin} \ sum L (\ text {actual}, \ text {predicted} (\ text {Model})) $ (this método se llama minimización de riesgo empírico).

Pero si no tiene suficientes datos y hay una gran cantidad de variables en su modelo, es muy probable encontrar un modelo que no solo explique patrones pero también explica el ruido aleatorio en sus datos. Este efecto se llama sobreajuste y conduce a la degradación de la capacidad de generalización de su modelo.

Para evitar el sobreajuste, se introduce un término de regularización en la función de destino: $ \ texto {Modelo} = \ text {argmin} \ sum L (\ text {actua l}, \ text {predicted} (\ text {Model})) + \ lambda R (\ text {Model}) $

Por lo general, este término $ R (\ text {Model}) $ impone una penalización especial en modelos complejos. Por ejemplo, en modelos con coeficientes grandes (regularización L2, $ R $ = suma de cuadrados de coeficientes) o con muchos coeficientes distintos de cero (regularización L1, $ R $ = suma de valores absolutos de coeficientes). Si estamos entrenando el árbol de decisiones, $ R $ puede ser su profundidad.

Otro punto de vista es que $ R $ introduce nuestro conocimiento previo sobre una forma del mejor modelo («no» tiene demasiado coeficientes grandes «,» es casi ortogonal a $ \ bar a $ «)

En términos simples, regularización se trata de beneficiar las soluciones que espera obtener. Como mencionas, por ejemplo, puedes beneficiarte de soluciones «simples», por alguna definición de simplicidad. Si su problema tiene reglas, una definición puede ser menos reglas. Pero esto depende del problema.

Sin embargo, estás haciendo la pregunta correcta. Por ejemplo, en Support Vector Machines esta «simplicidad» proviene de romper los lazos en la dirección del «margen máximo». Este margen es algo que se puede definir claramente en términos del problema. Hay una muy buena derivación geométrica en el artículo de SVM en Wikipedia . Resulta que el término de regularización es , posiblemente al menos, la «salsa secreta» de las SVM.

¿Cómo se realiza la regularización? En general, eso viene con el método que usa, si usa SVM, está haciendo la regularización L2, si está usando LASSO, estás haciendo la regularización L1 (mira lo que dice Hairybeast). Sin embargo, si estás desarrollando tu propio método, debes saber cómo distinguir deseable soluciones de las no deseables, y tienen una función que lo cuantifica. Al final, tendrá un término de costo y un término de regularización, y desea optimizar la suma de ambos.

Las técnicas de regularización son técnicas aplicadas a modelos de aprendizaje automático que hacen que el límite de decisión / modelo ajustado sea más suave. Esas técnicas ayudan a prevenir el sobreajuste.

Ejemplos: L1, L2, Abandono, Decadencia de peso en redes neuronales. Parámetro $ C $ en SVM.

En términos simples, la regularización es una técnica para evitar un ajuste excesivo al entrenar el aprendizaje automático algoritmos. Si tiene un algoritmo con suficientes parámetros libres, puede interpolar con gran detalle su muestra, pero es posible que los ejemplos que salen de la muestra no sigan esta interpolación detallada, ya que solo capturaron ruido o irregularidades aleatorias en la muestra en lugar de la tendencia real.

Se evita el ajuste excesivo limitando el valor absoluto de los parámetros en el modelo. Esto se puede hacer agregando un término al función de costo que impone una penalización basada en la magnitud de los parámetros del modelo. Si la magnitud se mide en la norma L1, esto se llama «regularización L1» (y generalmente resulta en modelos dispersos), si se mide en la norma L2, esto se llama «regularización L2», etc.