De ce se utilizează nucleul RBF în SVM?

RUser4512 a dat răspunsul corect: nucleul RBF funcționează bine în practică și este relativ ușor a acorda. Este „echivalentul SVM cu„ nimeni ”nu a fost concediat vreodată pentru estimarea unei regresii OLS:„ este ”acceptat ca o metodă implicită rezonabilă. În mod clar OLS nu este perfect în toate (sau chiar în multe) scenarii, dar„ este o metodă bine studiată și înțeleasă pe scară largă. De asemenea, nucleul RBF este bine studiat și înțeles pe scară largă, iar multe pachete SVM îl includ ca metodă implicită.

Dar nucleul RBF are o serie de alte În aceste tipuri de întrebări, când cineva întreabă despre „de ce facem lucrurile așa”, cred că este important să facem contraste și cu alte metode pentru a dezvolta contextul.

Este o nucleu staționar , ceea ce înseamnă că este invariant la traducere. Să presupunem că calculați $ K (x, y). $ Un nucleu staționar va produce aceeași valoare $ K (x, y) $ pentru $ K (x + c, y + c) $, unde $ c $ poate fi vector -evaluat de dimensiune pentru a se potrivi cu intrările. Pentru RBF, acest lucru se realizează lucrând la diferența celor doi vectori. Pentru contrast, rețineți că nucleul liniar nu are proprietatea staționaritate.

Versiunea cu un singur parametru a nucleului RBF are proprietatea că este izotropă , adică scalarea cu $ \ gamma $ are aceeași cantitate în toate direcțiile. Acest lucru poate fi ușor generalizat, totuși, modificând ușor nucleul RBF la $ K (x, y) = \ exp \ left (- (xy) „\ Gamma (xy) \ right) $ unde $ \ Gamma $ este un psd matrice.

O altă proprietate a nucleului RBF este că este infinit netedă . Acest lucru este plăcut din punct de vedere estetic , și oarecum satisfăcătoare din punct de vedere vizual, dar poate că nu este cea mai importantă proprietate. Comparați nucleul RBF cu nucleul matern și veți vedea că acolo unele nuclee sunt destul de mult mai zimțate!

povestea este că metodele bazate pe kernel sunt foarte bogate și, cu un pic de lucru, este foarte practic să dezvolți un kernel potrivit nevoilor tale specifice. Dar dacă folosești un kernel RBF ca implicit, vei „ au un etalon rezonabil pentru comparație.

Cred că motivele bune pentru a utiliza nucleul RBF sunt că funcționează bine în practică și sunt relativ ușor de calibrat, spre deosebire de alte miezuri.

Nucleul polinomial are trei parametri (offset, scalare, grad). Kernel-ul RBF are un parametru și există euristici bune pentru a-l găsi. A se vedea, de exemplu: kernel SVM rbf – metoda euristică pentru estimarea gama

Este posibil ca separarea liniară în spațiul caracteristică. Într-adevăr, este ușor, cu un nucleu gaussian, să impuneți separabilitatea și o precizie perfectă pe setul de trenuri (setând $ \ gamma $ la o valoare mare). Cu toate acestea, aceste modele au o generalizare foarte proastă.

Edit.

Acest scurt videoclip arată influența creșterii parametrului lățimii de bandă asupra limitei de decizie.