Le théorème dapproximation universel indique quun réseau de neurones à réaction avec une seule couche cachée contenant un nombre fini de neurones peut se rapprocher de nimporte quelle fonction continue (à condition que certaines hypothèses sur la fonction dactivation soient satisfaites).
autre modèle dapprentissage automatique (à lexception de tout modèle de réseau neuronal) qui a été prouvé comme étant universel approximateur de fonction (et qui est potentiellement comparable aux réseaux de neurones, en termes dutilité et dapplicabilité)? Si oui, pouvez-vous fournir un lien vers un document de recherche ou un livre qui en montre la preuve?
Des questions similaires ont été posées dans le passé à d’autres endroits (par exemple, ici , ici et ici ), mais ils ne fournissent pas de liens aux articles ou aux livres qui montrent les preuves.
Commentaires
- Le troisième lien a un lien entre deux livres. cstheory.stackexchange.com/q/7894/34637
- pas un algorithme ML, mais la décomposition de Fourier peut atteindre " approximation universelle " ….
Réponse
Machines à vecteurs de support
Dans larticle Une note sur la capacité dapproximation universelle des machines à vecteurs de support (2002) B. Hammer et K. Gersmann étudient les capacités dapproximation des fonctions universelles des SVM. Plus précisément, les auteurs montrent que les SVM avec des noyaux standard (y compris des noyaux gaussiens, polynomiaux et plusieurs produits scalaires) peuvent approximer nimporte quelle fonction mesurable ou continue jusquà nimporte quelle précision souhaitée. Par conséquent, les SVM sont des approximateurs de fonctions universelles.
Polynômes
Il est également largement connu que nous pouvons approximer toute fonction continue avec des polynômes (voir le Théorème de Stone-Weierstrass ). Vous pouvez utiliser la régression polynomiale pour ajuster les polynômes à vos données étiquetées.