Jeg lærte, at på grund af uendelig serieudvidelse af eksponentiel funktion Radial Basis Kernel projicerer inputfunktionsrum til uendeligt funktionsrum. Er det på grund af dette faktum, at vi ofte bruger denne kerne i SVM.? Gør projicering i uendeligt dimensionelt rum altid dataene lineært adskillelige.?
Kommentarer
- måske kan dette hjælpe: stats.stackexchange.com/questions/80398/…
- Faktisk skal du tilføje +1 dimension for at lave en to klasse data kan adskilles.
- se stats.stackexchange.com/questions/131138/… for intuitiv forklaring
Svar
RUser4512 gav det rigtige svar: RBF-kerne fungerer godt i praksis, og det er relativt let at indstille. Det er SVM svarende til “ingen” er nogensinde blevet fyret for at estimere en OLS-regression: “det accepteres som en rimelig standardmetode. Det er klart, at OLS ikke er perfekt i alle (eller endda mange) scenarier, men det” en velstuderet metode og bredt forstået. Ligeledes er RBF-kernen velstuderet og bredt forstået, og mange SVM-pakker inkluderer den som en standardmetode.
Men RBF-kernen har en række andre I denne type spørgsmål, når nogen spørger om “hvorfor gør vi tingene på denne måde”, synes jeg det er vigtigt også at tegne kontraster til andre metoder til at udvikle kontekst.
Det er en stationær kerne, hvilket betyder, at det er uændret i oversættelsen. Antag at du beregner $ K (x, y). $ En stationær kerne giver den samme værdi $ K (x, y) $ for $ K (x + c, y + c) $, hvor $ c $ kan være vektor -vurderet af dimension for at matche input. For RBF opnås dette ved at arbejde på forskellen for de to vektorer. Vær derimod opmærksom på, at den lineære kerne ikke har stationaritetsegenskaben.
Den enkeltparameterversion af RBF-kernen har den egenskab, at den er isotrop , dvs. skaleringen med $ \ gamma $ forekommer det samme beløb i alle retninger. Dette kan dog let generaliseres ved let at finjustere RBF-kernen til $ K (x, y) = \ exp \ left (- (xy) “\ Gamma (xy) \ right) $ hvor $ \ Gamma $ er en psd matrix.
En anden egenskab ved RBF-kernen er, at den er uendeligt glat . Dette er æstetisk tiltalende , og noget tilfredsstillende visuelt, men måske er det ikke den vigtigste egenskab. Sammenlign RBF-kernen med Matern-kernen, og du vil se, at der er nogle kerner, der er lidt mere ujævn!
Moralen om historien er, at kerne-baserede metoder er meget rige, og med lidt arbejde er det meget praktisk at udvikle en kerne, der passer til dine særlige behov. Men hvis man bruger en RBF-kerne som standard, vil du “ll har et rimeligt benchmark til sammenligning.
Svar
Jeg synes, at de gode grunde til at bruge RBF-kerne er, at de fungerer godt i praksis og de er relativt lette at kalibrere i modsætning til andre kerner.
Den polynomiske kerne har tre parametre (offset, skalering, grad). RBF-kernen har en parameter, og der er gode heuristikker til at finde den. Se for eksempel: SVM rbf-kerne – heuristisk metode til estimering af gamma
Lineær adskillelighed i funktionsområdet er muligvis ikke årsagen. Faktisk er det let med en Gaussisk kerne at håndhæve adskillelighed og en perfekt nøjagtighed på togsættet (indstille $ \ gamma $ til en stor værdi). Disse modeller har dog en meget dårlig generalisering.
Rediger.
Denne korte video viser indflydelsen af stigningen af båndbreddeparameteren på beslutningsgrænsen.