Jag lärde mig att på grund av oändlig serieutvidgning av den exponentiella funktionen Radial Basis Kernel projicerar inmatningsfunktionsutrymme till oändligt funktionsutrymme. Beror det på detta faktum att vi ofta använder den här kärnan i SVM.? Gör projicering i oändligt dimensionellt utrymme alltid data linjärt åtskiljbara.?
Kommentarer
- kanske detta kan hjälpa: stats.stackexchange.com/questions/80398/…
- Egentligen måste du lägga till +1-dimension för att göra två klass datasepareras.
- se stats.stackexchange.com/questions/131138/… för intuitiv förklaring
Svar
RUser4512 gav rätt svar: RBF-kärnan fungerar bra i praktiken och det är relativt enkelt att ställa in. Det är SVM motsvarande ”ingen” har någonsin avfyrats för att uppskatta en OLS-regression: ”det accepteras som en rimlig standardmetod. Det är uppenbart att OLS inte är perfekt i alla (eller till och med många) scenarier, men det” en väl studerad metod och allmänt förstådd. Likaså är RBF-kärnan väl studerad och allmänt förstådd, och många SVM-paket inkluderar den som en standardmetod.
Men RBF-kärnan har ett antal andra I dessa typer av frågor, när någon frågar om ”varför gör vi saker på det här sättet”, tycker jag att det är viktigt att också dra kontraster till andra metoder för att utveckla sammanhang.
Det är en stationär kärna, vilket innebär att den är oförändrad för översättning. Antag att du beräknar $ K (x, y). $ En stationär kärna ger samma värde $ K (x, y) $ för $ K (x + c, y + c) $, där $ c $ kan vara vektor -värderat av dimension för att matcha ingångarna. För RBF uppnås detta genom att arbeta på skillnaden för de två vektorerna. Observera däremot att den linjära kärnan inte har egenskapen stationaritet.
Versionen med en parameter för RBF-kärnan har egenskapen att den är isotrop , dvs. skalningen med $ \ gamma $ sker samma mängd i alla riktningar. Detta kan dock lätt generaliseras genom att enkelt justera RBF-kärnan till $ K (x, y) = \ exp \ left (- (xy) ”\ Gamma (xy) \ höger) $ där $ \ Gamma $ är en psd matris.
En annan egenskap hos RBF-kärnan är att den är oändligt smidig . Detta är estetiskt tilltalande , och något tillfredsställande visuellt, men kanske är det inte den viktigaste egenskapen. Jämför RBF-kärnan med Matern-kärnan så ser du att det finns vissa kärnor som är lite mer ojämna!
Moralen i historien är att kärnbaserade metoder är mycket rika, och med lite arbete är det väldigt praktiskt att utveckla en kärna som passar just dina behov. Men om man använder en RBF-kärna som standard, kommer du ” har ett rimligt riktmärke för jämförelse.
Svar
Jag tycker att de goda skälen att använda RBF-kärnan är att de fungerar bra i praktiken och de är relativt lätta att kalibrera, i motsats till andra kärnor.
Polynomkärnan har tre parametrar (offset, skalning, grad). RBF-kärnan har en parameter och det finns bra heuristik för att hitta den. Se, exempel: SVM rbf-kärna – heuristisk metod för att uppskatta gamma
Linjär separabilitet i funktionsutrymmet kanske inte är orsaken. I själva verket är det enkelt, med en Gaussisk kärna, att genomdriva separabilitet och en perfekt noggrannhet på tåget (ställa in $ \ gamma $ till ett stort värde). Dessa modeller har dock en mycket dålig generalisering.
Redigera.
Denna korta video visar påverkan av ökningen av bandbreddsparametern på beslutsgränsen.