twierdzenie o uniwersalnym przybliżeniu stwierdza, że sieć neuronowa typu feed-forward z pojedynczą warstwą ukrytą zawierającą skończoną liczbę neuronów może przybliżyć dowolną funkcję ciągłą (pod warunkiem spełnienia pewnych założeń dotyczących funkcji aktywacji).
inny model uczenia maszynowego (poza jakimkolwiek modelem sieci neuronowej), który udowodnił, że jest uniwersalnym aproksymator funkcji (i jest potencjalnie porównywalny z sieciami neuronowymi pod względem użyteczności i stosowalności)? Jeśli tak, czy możesz podać link do artykułu naukowego lub książki, która przedstawia dowód?
Podobne pytania zadawano w przeszłości w innych miejscach (np. tutaj , tutaj i tutaj ), ale nie zawierają linków do artykułów lub książek, które pokazują dowody.
Komentarze
- Trzecie łącze zawiera łącze do dwóch książek. cstheory.stackexchange.com/q/7894/34637
- nie jest algorytmem ML, ale rozkład Fouriera pozwala osiągnąć " uniwersalne przybliżenie " ….
Odpowiedź
Maszyny wektorów nośnych
W artykule Uwaga na temat możliwości uniwersalnego przybliżenia maszyn wektorów nośnych (2002) B. Hammer i K. Gersmann badają możliwości aproksymacji funkcji uniwersalnych maszyn SVM. Dokładniej, autorzy pokazują, że maszyny SVM ze standardowymi jądrami (w tym jądra Gaussa, wielomianu i kilku jąder iloczynu skalarnego) mogą przybliżać dowolną mierzalną lub ciągłą funkcję z dowolną pożądaną dokładnością. Dlatego maszyny SVM są uniwersalnymi aproksymatorami funkcji.
Wielomiany
Powszechnie wiadomo, że możemy przybliżyć dowolną funkcję ciągłą za pomocą wielomianów (patrz Twierdzenie Stone-Weierstrassa ). Możesz użyć regresji wielomianowej , aby dopasować wielomiany do oznaczonych danych.