Zjistil jsem, že v důsledku nekonečného rozšiřování řady exponenciální funkce jádro Radial Basis promítá vstupní prostor funkcí do prostoru nekonečných prvků. Je to kvůli této skutečnosti, že toto jádro používáme často v SVM.? Znamená promítání v nekonečném dimenzionálním prostoru data vždy lineárně oddělitelná.?
Komentáře
- možná to může pomoci: stats.stackexchange.com/questions/80398/…
- Ve skutečnosti musíte přidat dimenzi +1, abyste vytvořili libovolné dvě třídy oddělitelná data.
- viz stats.stackexchange.com/questions/131138/… pro intuitivní vysvětlení
Odpověď
RUser4512 dal správnou odpověď: RBF jádro funguje v praxi dobře a je relativně snadné naladit. Je to SVM ekvivalent k „nikomu“, který byl nikdy vyhozen pro odhad regrese OLS: „je to přijato jako rozumná výchozí metoda. OLS zjevně není dokonalý ve všech (nebo dokonce mnoha) scénářích, ale“ je dobře prostudovaná metoda a široce srozumitelná. Podobně je jádro RBF dobře prostudované a široce srozumitelné a mnoho balíčků SVM ji zahrnuje jako výchozí metodu.
Ale jádro RBF má řadu dalších vlastnosti. Když se někdo zeptá na otázku „proč děláme věci tímto způsobem“, myslím si, že je také důležité vytvářet kontrasty k jiným metodám vytváření kontextu.
Je to stacionární jádro, což znamená, že překlad je neměnný. Předpokládejme, že počítáte $ K (x, y). $ Stacionární jádro přinese stejnou hodnotu $ K (x, y) $ pro $ K (x + c, y + c) $, kde $ c $ může být vektor -hodnota dimenze, aby odpovídala vstupům. U RBF je toho dosaženo prací na rozdílu dvou vektorů. Pro srovnání si všimněte, že lineární jádro nemá vlastnost stacionarity.
Jednoparametrická verze jádra RBF má vlastnost, že je izotropní , tj. změna měřítka o $ \ gamma $ probíhá ve všech směrech ve stejné výši. To však lze snadno zobecnit mírným vylepšením jádra RBF na $ K (x, y) = \ exp \ left (- (xy) „\ Gamma (xy) \ right) $, kde $ \ Gamma $ je psd matice.
Další vlastností jádra RBF je, že je nekonečně plynulý . To je esteticky příjemné , a vizuálně trochu uspokojivý, ale možná to není nejdůležitější vlastnost. Porovnejte jádro RBF s jádrem Matern a uvidíte, že tam jsou některá jádra o dost zubatější!
Morálka příběh spočívá v tom, že metody založené na jádře jsou velmi bohaté a s trochou práce je velmi praktické vyvinout jádro vyhovující vašim konkrétním potřebám. Pokud však používáte jádro RBF jako výchozí, budete mít rozumné měřítko pro srovnání.
Odpověď
Myslím, že dobré důvody pro použití jádra RBF jsou, že v praxi fungují dobře a je relativně snadné je kalibrovat, na rozdíl od jiných jader.
Polynomiální jádro má tři parametry (offset, změna měřítka, stupeň). Jádro RBF má jeden parametr a je zde dobrá heuristika. Viz například: jádro SVM rbf – heuristická metoda pro odhad gama
Možná není důvodem lineární oddělitelnost v prostoru funkcí. Ve skutečnosti je s gaussovským jádrem snadné vynutit oddělitelnost a dokonalou přesnost vlakové soupravy (nastavení $ \ gamma $ na velkou hodnotu). Tyto modely však mají velmi špatné zobecnění.
Upravit.
Toto krátké video ukazuje vliv zvýšení parametru pásma na hranici rozhodování.