O teorema de aproximação universal afirma que um rede neural feed-forward com uma única camada oculta contendo um número finito de neurônios pode aproximar qualquer função contínua (desde que algumas suposições sobre a função de ativação sejam atendidas).
Existe alguma outro modelo de aprendizado de máquina (além de qualquer modelo de rede neural) que foi comprovado como um universal aproximador de função (e que é potencialmente comparável a redes neurais, em termos de utilidade e aplicabilidade)? Se sim, você pode fornecer um link para um artigo de pesquisa ou livro que mostra a prova?
Perguntas semelhantes foram feitas no passado em outros lugares (por exemplo, aqui , aqui e aqui ), mas eles não fornecem links para papéis ou livros que mostram as provas.
Comentários
- terceiro link tem um link para alguns livros. cstheory.stackexchange.com/q/7894/34637
- não um algoritmo de ML, mas a decomposição de Fourier pode atingir " aproximação universal " ….
Resposta
Máquinas de vetor de suporte
No artigo Uma nota sobre a capacidade de aproximação universal de máquinas de vetor de suporte (2002) B. Hammer e K. Gersmann investigam as capacidades de aproximação de função universal de SVMs. Mais especificamente, os autores mostram que SVMs com kernels padrão (incluindo kernels gaussianos, polinomiais e vários produtos escalares) podem aproximar qualquer função mensurável ou contínua até qualquer precisão desejada. Portanto, SVMs são aproximadores de função universal.
Polinômios
Também é amplamente conhecido que podemos aproximar qualquer função contínua com polinômios (consulte a Teorema de Stone-Weierstrass ). Você pode usar regressão polinomial para ajustar polinômios aos seus dados rotulados.