El teorema de aproximación universal establece que un red neuronal de avance con una sola capa oculta que contiene un número finito de neuronas puede aproximarse a cualquier función continua (siempre que se cumplan algunas suposiciones sobre la función de activación).
¿Hay alguna otro modelo de aprendizaje automático (aparte de cualquier modelo de red neuronal) que demostró ser un universal aproximador de funciones (y eso es potencialmente comparable a las redes neuronales, en términos de utilidad y aplicabilidad)? En caso afirmativo, ¿puede proporcionar un enlace a un trabajo de investigación o libro que muestre la prueba?
Se han hecho preguntas similares en el pasado en otros lugares (por ejemplo, aquí , aquí y aquí ), pero no proporcionan vínculos a trabajos o libros que muestren las pruebas.
Comentarios
- El tercer enlace tiene un enlace a dos libros. cstheory.stackexchange.com/q/7894/34637
- no es un algoritmo de AA, pero la descomposición de Fourier puede lograr " aproximación universal " ….
Respuesta
Máquinas de vectores de soporte
En el documento Una nota sobre la capacidad de aproximación universal de las máquinas de vectores de soporte (2002) B. Hammer y K. Gersmann investigan las capacidades de aproximación de funciones universales de las SVM. Más específicamente, los autores muestran que las SVM con núcleos estándar (incluidos gaussianos, polinomiales y varios núcleos de productos escalares) pueden aproximarse a cualquier función mensurable o continua hasta la precisión deseada. Por lo tanto, las SVM son aproximadores de funciones universales.
Polinomios
También es ampliamente conocido que podemos aproximar cualquier función continua con polinomios (consulte la teorema de Stone-Weierstrass ). Puede usar regresión polinomial para ajustar polinomios a sus datos etiquetados.