Jeg lærte at på grunn av uendelig serieutvidelse av eksponensiell funksjon Radial Basis Kernel projiserer input-funksjonsrom til uendelig funksjonsrom. Er det på grunn av dette at vi bruker denne kjernen ofte i SVM.? Gjør prosjektering i uendelig dimensjonalt rom alltid dataene adskillbare.?
Kommentarer
- kanskje dette kan hjelpe: stats.stackexchange.com/questions/80398/…
- Egentlig må du legge til +1 dimensjon for å lage en hvilken som helst to klasse data som kan skilles.
- se stats.stackexchange.com/questions/131138/… for intuitiv forklaring
Svar
RUser4512 ga riktig svar: RBF-kjernen fungerer bra i praksis og det er relativt enkelt å stille inn. Det er SVM-tilsvaret «ingen» har noensinne blitt sparket for å estimere en OLS-regresjon: «det er akseptert som en rimelig standardmetode. Det er tydelig at OLS ikke er perfekt i alle (eller til og med mange) scenarier, men det» er en godt studert metode og mye forstått. På samme måte er RBF-kjernen godt studert og mye forstått, og mange SVM-pakker inkluderer den som en standardmetode.
Men RBF-kjernen har en rekke andre Når noen spør om «hvorfor gjør vi ting på denne måten», tror jeg det er viktig å også trekke kontraster til andre metoder for å utvikle kontekst.
Det er en stasjonær kjerne, noe som betyr at den er uforanderlig til oversettelse. Anta at du beregner $ K (x, y). $ En stasjonær kjerne gir samme verdi $ K (x, y) $ for $ K (x + c, y + c) $, hvor $ c $ kan være vektor -verdi av dimensjon for å matche inngangene. For RBF oppnås dette ved å jobbe med forskjellen av de to vektorene. Vær oppmerksom på at den lineære kjernen ikke har stasjonsegenskapen.
Enparameterversjonen av RBF-kjernen har egenskapen at den er isotrop , dvs. at skaleringen med $ \ gamma $ skjer like mye i alle retninger. Dette kan imidlertid lett generaliseres ved å tilpasse RBF-kjernen litt til $ K (x, y) = \ exp \ left (- (xy) «\ Gamma (xy) \ right) $ hvor $ \ Gamma $ er en psd matrise.
En annen egenskap ved RBF-kjernen er at den er uendelig glatt . Dette er estetisk tiltalende , og noe tilfredsstillende visuelt, men kanskje det ikke er den viktigste egenskapen. Sammenlign RBF-kjernen med Matern-kjernen, og du vil se at der er noen kjerner ganske mer hakkete!
Moralen til historien er at kjernebaserte metoder er veldig rike, og med litt arbeid er det veldig praktisk å utvikle en kjerne som passer dine spesifikke behov. Men hvis man bruker en RBF-kjerne som standard, vil du har en rimelig referanse for sammenligning.
Svar
Jeg tror de gode grunnene til å bruke RBF-kjernen er at de fungerer bra i praksis og de er relativt enkle å kalibrere, i motsetning til andre kjerner.
Polynomkjernen har tre parametere (forskyvning, skalering, grad). RBF-kjernen har en parameter, og det er gode heuristikker for å finne den. Se, per eksempel: SVM rbf-kjerne – heuristisk metode for estimering av gamma
Lineær skillbarhet i funksjonsområdet er kanskje ikke årsaken. Faktisk er det enkelt, med en Gaussisk kjerne, å håndheve separerbarhet og en perfekt nøyaktighet på togsettet (sette $ \ gamma $ til en stor verdi). Disse modellene har imidlertid en veldig dårlig generalisering.
Edit.
Denne korte videoen viser innflytelsen fra økningen av båndbreddeparameteren på beslutningsgrensen.