universal approximation theorem anger att en mata fram neuralt nätverk med ett enda dolt lager som innehåller ett begränsat antal neuroner kan approximera vilken kontinuerlig funktion som helst (förutsatt att vissa antaganden om aktiveringsfunktionen är uppfyllda).
Finns det någon annan maskininlärningsmodell (förutom alla neurala nätverksmodeller) som har visat sig att är en universal funktion approximator (och det är potentiellt jämförbart med neurala nätverk när det gäller användbarhet och användbarhet)? Om ja, kan du tillhandahålla en länk till en forskningspapper eller bok som visar beviset?
Liknande frågor har tidigare ställts på andra ställen (t.ex. här , här och här ), men de innehåller inte länkar till papper eller böcker som visar bevisen.
Kommentarer
- Den tredje länken har en länk två få böcker. cstheory.stackexchange.com/q/7894/34637
- inte en ML-algo, men Fourier-sönderdelning kan uppnå " universell approximation " ….
Svar
Stödvektormaskiner
I papperet En anmärkning om den universella tillnärmningsförmågan för stödvektormaskiner (2002) B. Hammer och K. Gersmann undersöker SVM: s universella funktionstillnärmningsfunktioner. Mer specifikt visar författarna att SVM: er med standardkärnor (inklusive Gaussiska, polynomiska och flera punktproduktkärnor) kan approximera alla mätbara eller kontinuerliga funktioner upp till önskad noggrannhet. SVM är därför universella funktions approximatorer.
Polynom
Det är också allmänt känt att vi kan approximera vilken kontinuerlig funktion som helst med polynom (se Stone-Weierstrass teorem ). Du kan använda polynomregression för att anpassa polynom till dina märkta data.