Jai appris quen raison de lexpansion en série infinie de la fonction exponentielle Radial Basis Kernel projette lespace dentités dentrée vers lespace infini dentités. Est-ce dû à ce fait que nous utilisons souvent ce noyau en SVM.? Est-ce que la projection dans un espace dimensionnel infini rend toujours les données linéairement séparables?
Commentaires
- peut-être que cela peut aider: stats.stackexchange.com/questions/80398/…
- En fait, vous devez ajouter +1 dimension pour créer deux classes données séparables.
- voir stats.stackexchange.com/questions/131138/… pour explication intuitive
Réponse
RUser4512 a donné la bonne réponse: le noyau RBF fonctionne bien en pratique et il est relativement facile pour syntoniser. Cest léquivalent SVM de « personne » na jamais été renvoyé pour avoir estimé une régression OLS: « il » est accepté comme une méthode par défaut raisonnable. Il est clair que OLS nest « pas parfait dans tous (ou même dans de nombreux) scénarios, mais il » est une méthode bien étudiée et largement comprise. De même, le noyau RBF est bien étudié et largement compris, et de nombreux packages SVM lincluent comme méthode par défaut.
Mais le noyau RBF a un certain nombre dautres Dans ce type de questions, quand quelquun demande « pourquoi faisons-nous les choses de cette façon », je pense quil est important de faire des contrastes avec dautres méthodes pour développer le contexte.
noyau stationnaire , ce qui signifie quil est invariant à la traduction. Supposons que vous calculiez $ K (x, y). $ Un noyau stationnaire donnera la même valeur $ K (x, y) $ pour $ K (x + c, y + c) $, où $ c $ peut être vecteur -évalué de dimension pour correspondre aux entrées. Pour le RBF, cela se fait en travaillant sur la différence des deux vecteurs. Pour le contraste, notez que le noyau linéaire na pas la propriété de stationnarité.
La version à paramètre unique du noyau RBF a la propriété dêtre isotrope , cest-à-dire que la mise à léchelle par $ \ gamma $ se produit de la même quantité dans toutes les directions. Cela peut être facilement généralisé, cependant, en ajustant légèrement le noyau RBF à $ K (x, y) = \ exp \ left (- (xy) « \ Gamma (xy) \ right) $ où $ \ Gamma $ est un psd matrice.
Une autre propriété du noyau RBF est quil est infiniment lisse . Cest esthétique , et quelque peu satisfaisant visuellement, mais ce nest peut-être pas la propriété la plus importante. Comparez le noyau RBF au noyau Matern et vous verrez que certains noyaux sont un peu plus irréguliers!
La morale de lhistoire est que les méthodes basées sur le noyau sont très riches, et avec un peu de travail, il est très pratique de développer un noyau adapté à vos besoins particuliers. Mais si lon utilise un noyau RBF par défaut, vous « ll ont un point de référence raisonnable pour la comparaison.
Réponse
Je pense que les bonnes raisons dutiliser le noyau RBF sont quils fonctionnent bien dans la pratique et ils sont relativement faciles à calibrer, contrairement aux autres noyaux.
Le noyau polynomial a trois paramètres (offset, mise à léchelle, degré). Le noyau RBF a un paramètre et il existe de bonnes heuristiques pour le trouver. Voir, par exemple: SVM rbf kernel – méthode heuristique destimation du gamma
La séparabilité linéaire dans lespace des fonctionnalités nest peut-être pas la raison. En effet, il est facile, avec un noyau gaussien, dimposer une séparabilité et une précision parfaite sur lensemble de trains (mettre $ \ gamma $ à une grande valeur). Cependant, ces modèles ont une très mauvaise généralisation.
Edit.
Cette courte vidéo montre linfluence de laugmentation du paramètre de bande passante sur la limite de décision.