A univerzális közelítési tétel kimondja, hogy egy feed-forward neurális hálózat egyetlen rejtett réteggel, amely véges számú idegsejtet tartalmaz, közelíthet bármilyen folytonos funkcióhoz (feltéve, hogy teljesülnek az aktiválási függvény néhány feltételezése).
Van-e valamilyen más gépi tanulási modell (a neurális hálózati modellektől eltekintve), amely univerzális függvény-közelítő (és ami potenciálisan összehasonlítható az ideghálózatokkal, a hasznosság és az alkalmazhatóság szempontjából)? Ha igen, tud-e megadni egy hivatkozást egy kutatási cikkre vagy könyvre, amely bemutatja az igazolást?
Hasonló kérdéseket tettek fel a múltban más helyeken is (pl. itt , itt és itt ), de nem adnak linkeket a bizonyítékokat bemutató papírokhoz vagy könyvekhez.
Megjegyzések
- A harmadik link két pár könyvvel rendelkezik. cstheory.stackexchange.com/q/7894/34637
- nem egy ML algó, de a Fourier-bontással " egyetemes közelítés " ….
Válasz
Támogatja a vektorgépeket
A cikkben egy megjegyzés a támogató vektorgépek univerzális közelítési képességéről (2002) B. Hammer és K. Gersmann az SVM-ek univerzális funkció-közelítő képességeit vizsgálják. Pontosabban, a szerzők azt mutatják, hogy a standard kernelű SVM-ek (beleértve a Gauss-féle, a polinomot és a több pontos termékmagot) bármilyen mérhető vagy folyamatos funkciót a kívánt pontossággal közelíthetnek. Ezért az SVM-ek univerzális függvény-közelítők.
Polinomok
Az is széles körben ismert, hogy bármilyen folytonos függvényt közelíthetünk polinomokkal (lásd: Stone-Weierstrass tétel ). A polinom regresszióval illesztheti a polinomokat a címkézett adatokhoz.