Megtudtam, hogy az exponenciális függvény végtelen soros kibővítése miatt a Radial Basis Kern a bemeneti tulajdonságteret a végtelen jellemzőtérbe vetíti. Ennek tudható be, hogy ezt a kernelt gyakran használjuk az SVM-ben? A végtelen dimenziós térben való kivetítés mindig lineárisan elválaszthatja az adatokat.?
Megjegyzések
- talán ez segíthet: stats.stackexchange.com/questions/80398/…
- Valójában hozzá kell adnod a +1 dimenziót bármely két osztály létrehozásához adatok szétválaszthatók.
- lásd: stats.stackexchange.com/questions/131138/… intuitív magyarázat
Válasz
Az RUser4512 helyes választ adott: Az RBF kernel jól működik a gyakorlatban, és viszonylag könnyű hangolni. Az SVS egyenértékű “senkivel” egyenértékű az OLS regresszió becslése miatt: “elfogadható ésszerű alapértelmezett módszerként. Nyilvánvaló, hogy az OLS nem tökéletes minden (vagy akár sok) helyzetben, de” jól tanulmányozott módszer és széles körben megértett. Hasonlóképpen, az RBF kernel is jól tanulmányozott és széles körben megértett, és sok SVM csomag alapértelmezett módszerként tartalmazza.
De az RBF kernel számos más tulajdonságok. Az ilyen típusú kérdésekben, amikor valaki a “miért csináljuk a dolgokat így” kérdésről kérdezem, fontosnak tartom, hogy a kontextus fejlesztése érdekében szembeállítsuk más módszerekkel is. álló kernel, ami azt jelenti, hogy invariáns a fordításra. Tegyük fel, hogy $ K (x, y) -et számol. $ Egy álló kernel ugyanazt az $ K (x, y) $ értéket adja meg $ K (x + c, y + c) $ értékre, ahol $ c $ lehet vektor -értékelt dimenzió, hogy megfeleljen a bemeneteknek. Az RBF esetében ez úgy valósul meg, hogy a két vektor különbségén dolgozunk. Ezzel ellentétben vegye figyelembe, hogy a lineáris kernel nincs stacionaritási tulajdonság.
Az RBF kernel egyparaméteres verziójának az a tulajdonsága, hogy izotróp , azaz a $ \ gamma $ szerinti méretezés ugyanolyan mértékben történik minden irányban. Ezt azonban könnyen általánosíthatjuk, ha az RBF kernt kissé módosítjuk $ K (x, y) = \ exp \ left (- (xy) “\ Gamma (xy) \ right) $ értékre, ahol a $ \ Gamma $ egy psd mátrix.
Az RBF kernel másik tulajdonsága, hogy végtelenül sima . Ez esztétikailag kellemes , és vizuálisan kissé kielégítő, de talán nem ez a legfontosabb tulajdonság. Hasonlítsa össze az RBF kernelt a Matern kernellel, és meglátja, hogy ott egyes kernek kissé szaggatottabbak!
a történet az, hogy a kernel alapú módszerek nagyon gazdagok, és egy kis munkával nagyon praktikus olyan kernelt fejleszteni, amely megfelel az Ön egyedi igényeinek. De ha valaki alapértelmezés szerint egy RBF kernelt használ, akkor ” ésszerű viszonyítási alapja van.
Válasz
Úgy gondolom, hogy az RBF kernel használatának jó okai az, hogy a gyakorlatban jól működnek és viszonylag könnyen kalibrálhatók, szemben a többi maggal.
A polinom kernel három paramétere van (eltolás, méretezés, fok). Az RBF kernelnek egyetlen paramétere van, és jó heurisztikákkal rendelkezik annak megtalálásához. Lásd példánként: SVM rbf kern – heurisztikus módszer a gamma becslésére
Lehet, hogy ez nem a lineáris elválaszthatóság a jellemzőterben. Valójában egy Gauss-kernel segítségével könnyen érvényesíthető az elválaszthatóság és a pontosság a vonatkészleten (a $ \ gamma $ nagy értékre állítása). Ezeknek a modelleknek azonban nagyon rossz az általánosítása.
Szerkesztés.
Ez a rövid videó bemutatja a sávszélesség-paraméter növekedésének a döntési határra gyakorolt hatását.