Olen oppinut, että eksponentiaalisen funktion rajattoman sarjan laajenemisen takia Radial Basis Kernel projisoi syötetyn ominaisuuden tilan äärettömään ominaisuuteen. Johtuuko tämä tosiasia siitä, että käytämme tätä ydintä usein SVM: ssä.? Tekeekö projektio äärettömään ulottuvuuteen aina tiedot lineaarisesti erotettavissa.?
Kommentit
- ehkä tämä voi auttaa: stats.stackexchange.com/questions/80398/…
- Itse asiassa sinun on lisättävä +1 -ulottuvuus minkä tahansa kahden luokan tekemiseen tiedot erotettavissa.
- katso stats.stackexchange.com/questions/131138/… intuitiivinen selitys
vastaus
RUser4512 antoi oikean vastauksen: RBF-ydin toimii hyvin käytännössä ja se on suhteellisen helppoa virittää. Se on SVM: ää vastaava ”kenellekään” ei ole koskaan annettu potkuja OLS-regressioon arvioimiseksi: ”se hyväksytään kohtuullisena oletusmenetelmänä. Selvästi OLS ei ole täydellinen kaikissa (tai jopa monissa) skenaarioissa, mutta se” on hyvin tutkittu menetelmä ja laajasti ymmärretty. Samoin RBF-ydin on hyvin tutkittu ja ymmärretty, ja monet SVM-paketit sisältävät sen oletusmenetelmänä.
Mutta RBF-ytimessä on useita muita Tämän tyyppisissä kysymyksissä, kun joku kysyy ”miksi teemme asioita tällä tavalla”, mielestäni on tärkeää tehdä kontrasteja myös muihin menetelmiin kontekstin kehittämiseksi.
Se on kiinteä -ydin, mikä tarkoittaa, että se on invariantti käännökseen. Oletetaan, että lasket $ K (x, y). $ Kiinteä ydin tuottaa saman arvon $ K (x, y) $ kuin $ K (x + c, y + c) $, jossa $ c $ voi olla vektori -arvotettu ulottuvuus vastaamaan tuloja. RBF: n osalta tämä saavutetaan tekemällä kahden vektorin eron selvittäminen. Sitä vastoin huomaa, että lineaarisella ytimellä ei ole stationaarisuusominaisuutta.
RBF-ytimen yhden parametrin versiolla on ominaisuus, että se on isotrooppinen , eli skaalaus $ \ gamma $: lla tapahtuu yhtä paljon kaikkiin suuntiin. Tämä voidaan kuitenkin helposti yleistää säätämällä RBF-ydintä hieman arvoon $ K (x, y) = \ exp \ left (- (xy) ”\ Gamma (xy) \ right) $, jossa $ \ Gamma $ on psd matriisi.
Toinen RBF-ytimen ominaisuus on, että se on äärettömän sileä . Tämä on esteettisesti miellyttävä , ja visuaalisesti jonkin verran tyydyttävä, mutta ehkä se ei ole tärkein ominaisuus. Vertaa RBF-ydintä Matern-ytimeen ja huomaat, että siellä jotkut ytimet ovat melko jyrkät!
tarina on, että kernelipohjaiset menetelmät ovat erittäin rikkaita, ja vähän työtä tekemällä on erittäin käytännöllistä kehittää ydin, joka sopii juuri sinun tarpeisiisi. Mutta jos joku käyttää oletuksena RBF-ydintä, ” sinulla on kohtuullinen vertailukohde.
Vastaus
Mielestäni hyvät syyt RBF-ytimen käyttämiseen ovat, että ne toimivat hyvin käytännössä ja ne on suhteellisen helppo kalibroida toisin kuin muut ytimet.
Polynomisessa ytimessä on kolme parametria (offset, skaalaus, aste). RBF-ytimessä on yksi parametri ja sen löytämiseksi on hyvät heuristiikat. Katso esimerkki: SVM rbf -ydin – heuristinen menetelmä gamman arvioimiseksi
Lineaarinen erotettavuus ominaisuusalueessa ei välttämättä ole syy. Itse asiassa Gaussin ytimellä on helppo valvoa erottuvuutta ja täydellistä tarkkuutta junayksikössä (asettamalla $ \ gamma $ suureksi arvoksi). Näillä malleilla on kuitenkin erittäin huono yleistys.
Muokkaa.
Tämä lyhyt video näyttää kaistanleveysparametrin lisäyksen vaikutuksen päätösrajaan.