Der universelle Approximationssatz besagt, dass ein Feed-Forward-Neuronales Netzwerk mit einer einzelnen verborgenen Schicht, die eine endliche Anzahl von Neuronen enthält, kann sich jeder kontinuierlichen Funktion annähern (vorausgesetzt, einige Annahmen zur Aktivierungsfunktion sind erfüllt).
Gibt es eine Ein anderes Modell für maschinelles Lernen (außer jedem neuronalen Netzwerkmodell), das ist, hat als universal Funktionsapproximator (und das ist in Bezug auf Nützlichkeit und Anwendbarkeit möglicherweise mit neuronalen Netzen vergleichbar)? Wenn ja, können Sie einen Link zu einem Forschungsbericht oder Buch bereitstellen, das den Beweis enthält?
Ähnliche Fragen wurden in der Vergangenheit an anderen Stellen gestellt (z. B. hier , hier und hier ), aber sie bieten keine Links zu Papieren oder Büchern, die die Beweise zeigen.
Kommentare
- 3. Link hat einen Link zwei Bücher. cstheory.stackexchange.com/q/7894/34637
- kein ML-Algo, aber eine Fourier-Zerlegung kann universelle Approximation " ….
Antwort
Support-Vektor-Maschinen
In der Veröffentlichung Ein Hinweis zur universellen Approximationsfähigkeit von Support-Vektor-Maschinen (2002) B. Hammer und K. Gersmann untersuchen die universellen Funktionsnäherungsfähigkeiten von SVMs. Insbesondere zeigen die Autoren, dass SVMs mit Standardkernen (einschließlich Gauß-, Polynom- und mehreren Punktproduktkernen) jede messbare oder kontinuierliche Funktion mit jeder gewünschten Genauigkeit approximieren können. Daher sind SVMs universelle Funktionsapproximatoren.
Polynome
Es ist auch allgemein bekannt, dass wir jede kontinuierliche Funktion mit Polynomen approximieren können (siehe Stone-Weierstrass-Theorem ). Sie können Polynomregression verwenden, um Polynome an Ihre beschrifteten Daten anzupassen.