Il teorema di approssimazione universale afferma che un rete neurale feed-forward con un singolo strato nascosto contenente un numero finito di neuroni può approssimare qualsiasi funzione continua (a condizione che siano soddisfatte alcune ipotesi sulla funzione di attivazione).
Cè qualche altro modello di machine learning (a parte qualsiasi modello di rete neurale) che è stato dimostrato come universale approssimatore di funzioni (e che è potenzialmente paragonabile alle reti neurali, in termini di utilità e applicabilità)? Se sì, puoi fornire un link a un documento di ricerca o un libro che ne mostri la prova?
Domande simili sono state fatte in passato in altri posti (ad es. qui , qui e qui ), ma non forniscono link a documenti o libri che mostrano le prove.
Commenti
- Il terzo collegamento contiene due libri. cstheory.stackexchange.com/q/7894/34637
- non è un algoritmo ML, ma la decomposizione di Fourier può raggiungere " approssimazione universale " ….
Risposta
Support vector machines
Nel documento Una nota sulla capacità di approssimazione universale di Support Vector Machine (2002) B. Hammer e K. Gersmann studiano le capacità di approssimazione delle funzioni universali degli SVM. Più specificamente, gli autori mostrano che SVM con kernel standard (inclusi gaussiani, polinomiali e diversi kernel di prodotti puntiformi) possono approssimare qualsiasi funzione misurabile o continua fino alla precisione desiderata. Pertanto, gli SVM sono approssimatori di funzioni universali.
Polinomi
È anche ampiamente noto che possiamo approssimare qualsiasi funzione continua con polinomi (vedi teorema di Stone-Weierstrass ). Puoi utilizzare la regressione polinomiale per adattare i polinomi ai dati etichettati.