universell tilnærmingssetning sier at en feed-forward nevrale nettverk med et enkelt skjult lag som inneholder et endelig antall nevroner kan tilnærme enhver kontinuerlig funksjon (forutsatt at noen antagelser om aktiveringsfunksjonen er oppfylt).
Er det noen annen maskinlæringsmodell (bortsett fra alle nevrale nettverksmodeller) som har blitt bevist å være en universal funksjonstilnærmer (og som potensielt kan sammenlignes med nevrale nettverk, når det gjelder nytte og anvendelighet)? Hvis ja, kan du gi en lenke til en forskningsartikkel eller bok som viser beviset?
Lignende spørsmål har blitt stilt tidligere andre steder (f.eks. her , her og her ), men de gir ikke lenker til papirer eller bøker som viser bevisene.
Kommentarer
- 3. lenke har en lenke to få bøker. cstheory.stackexchange.com/q/7894/34637
- ikke en ML-algo, men Fourier-spaltning kan oppnå " universell tilnærming " ….
Svar
Support vector machines
In the paper A Note on the Universal Approximation Capability of Support Vector Machines (2002) B. Hammer og K. Gersmann undersøker SVMs evner for tilnærming av universelle funksjoner. Mer spesifikt viser forfatterne at SVM-er med standardkjerner (inkludert Gaussiske, polynomiske og flere prikkproduktkjerner) kan tilnærme enhver målbar eller kontinuerlig funksjon opp til ønsket nøyaktighet. Derfor er SVM-er tilnærmere av universell funksjon.
Polynomer
Det er også kjent at vi kan tilnærme enhver kontinuerlig funksjon med polynomer (se Stone-Weierstrass teorem ). Du kan bruke polynomial regresjon for å tilpasse polynomer til dine merkede data.