Dlaczego jądro RBF jest używane w SVM?

RUser4512 podał poprawną odpowiedź: jądro RBF działa dobrze w praktyce i jest stosunkowo łatwe dostroić. Jest to odpowiednik SVM z tym, że „nikt” nigdy nie został zwolniony w celu oszacowania regresji OLS: „jest akceptowany jako rozsądna metoda domyślna. Najwyraźniej OLS nie jest doskonały w każdym (lub nawet wielu) scenariuszach, ale tak” jest dobrze zbadaną metodą i szeroko rozumianą. Podobnie jądro RBF jest dobrze zbadane i szeroko rozumiane, a wiele pakietów SVM zawiera je jako metodę domyślną.

Ale jądro RBF ma wiele innych właściwości. W tego typu pytaniach, gdy ktoś pyta o „dlaczego robimy coś w ten sposób”, myślę, że ważne jest, aby również zwrócić uwagę na inne metody rozwijania kontekstu.

Jest to stacjonarne jądro, co oznacza, że jest niezmienne względem tłumaczenia. Załóżmy, że obliczasz $ K (x, y). $ Stacjonarne jądro da tę samą wartość $ K (x, y) $ dla $ K (x + c, y + c) $, gdzie $ c $ może być wektorem -oceniony wymiar, aby dopasować dane wejściowe. W przypadku RBF osiąga się to poprzez pracę nad różnicą dwóch wektorów. Dla kontrastu, zauważ, że jądro liniowe nie ma właściwości stacjonarności.

Jednoparametrowa wersja jądra RBF ma tę właściwość, że jest izotropowa , tj. skalowanie o $ \ gamma $ następuje z taką samą kwotą we wszystkich kierunkach. Można to jednak łatwo uogólnić, nieznacznie zmieniając jądro RBF na $ K (x, y) = \ exp \ left (- (xy) „\ Gamma (xy) \ right) $, gdzie $ \ Gamma $ to psd matrix.

Inną właściwością jądra RBF jest to, że jest on nieskończenie gładki . Jest to estetyczne , i nieco satysfakcjonujące wizualnie, ale być może nie jest to najważniejsza właściwość. Porównaj jądro RBF z jądrem Matern, a zobaczysz, że niektóre jądra są bardziej postrzępione!

Morał historia jest taka, że metody oparte na jądrze są bardzo bogate i przy odrobinie pracy bardzo praktyczne jest opracowanie jądra dostosowanego do twoich konkretnych potrzeb. Ale jeśli ktoś używa jądra RBF jako domyślnego, będziesz mieć rozsądny punkt odniesienia do porównania.

Myślę, że dobrym powodem używania jądra RBF jest to, że dobrze sprawdza się w praktyce i są stosunkowo łatwe do kalibracji, w przeciwieństwie do innych jąder.

Jądro wielomianowe ma trzy parametry (przesunięcie, skalowanie, stopień). Jądro RBF ma jeden parametr i istnieją dobre heurystyki, aby go znaleźć. Zobacz na przykład: SVM rbf kernel – heurystyczna metoda szacowania gamma

Liniowa rozdzielność w przestrzeni cech może nie być powodem. Rzeczywiście, z jądrem Gaussa łatwo jest wymusić rozdzielność i doskonałą dokładność na zestawie pociągu (ustawienie $ \ gamma $ na dużą wartość). Jednak te modele mają bardzo złe uogólnienie.

Edytuj.

Ten krótki film pokazuje wpływ wzrostu parametru przepustowości na granicę decyzyjną.