De stelling voor universele benadering stelt dat een feed-forward neuraal netwerk met een enkele verborgen laag die een eindig aantal neuronen bevat, kan elke continue functie benaderen (mits aan enkele aannames over de activeringsfunctie is voldaan).
Is er een ander model voor machine learning (afgezien van elk neuraal netwerkmodel) waarvan is bewezen dat een universele functie benaderer (en die potentieel vergelijkbaar is met neurale netwerken, in termen van bruikbaarheid en toepasbaarheid)? Zo ja, kunt u een link geven naar een onderzoeksartikel of boek dat het bewijs laat zien?
Soortgelijke vragen zijn in het verleden op andere plaatsen gesteld (bijv. hier , hier en hier ), maar ze bieden geen links naar papers of boeken die de bewijzen tonen.
Reacties
- 3e link heeft een link naar twee boeken. cstheory.stackexchange.com/q/7894/34637
- geen ML-algo, maar Fourier-decompositie kan universele benadering " ….
Antwoord
Support vector machines
In de paper Een opmerking over de universele benadering van ondersteunende vectormachines (2002) B. Hammer en K. Gersmann onderzoeken de mogelijkheden van universele functiebenadering van SVMs. Meer specifiek laten de auteurs zien dat SVMs met standaard kernels (inclusief Gaussian, polynomial en verscheidene dot product-kernels) elke meetbare of continue functie kunnen benaderen tot elke gewenste nauwkeurigheid. Daarom zijn SVMs universele functiebenaderers.
Polynomen
Het is ook algemeen bekend dat we elke continue functie kunnen benaderen met polynomen (zie de Stone-Weierstrass-stelling ). U kunt polynoomregressie gebruiken om polynomen in uw gelabelde gegevens te passen.