SVM에서 RBF 커널이 사용되는 이유는 무엇입니까?

RUser4512가 정답을 제공했습니다. RBF 커널은 실제로 잘 작동하며 비교적 쉽습니다. 조율하다. 이는 “아무도”OLS 회귀를 추정하기 위해 실행 된 적이없는 것과 동일한 SVM입니다. 이는 합리적인 기본 방법으로 허용됩니다. 분명히 OLS는 “모든 (또는 심지어 많은) 시나리오에서 완벽하지는 않지만” 잘 연구되고 널리 알려진 방법입니다. 마찬가지로 RBF 커널은 잘 연구되고 널리 이해되고 있으며 많은 SVM 패키지에 기본 방법으로 포함되어 있습니다.

그러나 RBF 커널에는 다른 여러 가지가 있습니다. 이러한 유형의 질문에서 누군가 “왜 우리가 이런 식으로 일을합니까?”에 대해 질문 할 때 컨텍스트를 개발하기 위해 다른 방법과 대조를 이루는 것도 중요하다고 생각합니다.

고정 된 커널, 이는 번역에 대해 불변임을 의미합니다. $ K (x, y). $를 계산한다고 가정하면 고정 커널은 $ K (x + c, y + c) $에 대해 동일한 값 $ K (x, y) $를 생성합니다. 여기서 $ c $는 벡터 일 수 있습니다. -입력과 일치하는 차원의 값. RBF의 경우 두 벡터의 차이 작업을 통해 수행됩니다. 대조적으로 선형 커널에는 정상 성 속성이 없습니다.

RBF 커널의 단일 매개 변수 버전은 등방성 속성을 갖습니다. , 즉 $ \ gamma $ 단위의 배율은 모든 방향에서 동일한 양으로 발생합니다. RBF 커널을 $ K (x, y) = \ exp \ left (-(xy) “\ Gamma (xy) \ right) $로 약간 조정하면 쉽게 일반화 할 수 있습니다. 여기서 $ \ Gamma $는 psd입니다. 매트릭스.

RBF 커널의 또 다른 속성은 무한히 부드럽습니다 . 이것은 미학적으로 만족 스럽습니다. , 시각적으로는 다소 만족 스럽지만 아마도 가장 중요한 속성은 아닐 것입니다. RBF 커널과 Matern 커널을 비교하면 일부 커널이 훨씬 더 들쭉날쭉하다는 것을 알 수 있습니다!

The moral of 이야기는 커널 기반 방법이 매우 풍부하고 약간의 작업으로 특정 요구에 맞는 커널을 개발하는 것이 매우 실용적이라는 것입니다. 그러나 RBF 커널을 기본값으로 사용하는 경우 비교를위한 합리적인 벤치 마크가 있습니다.

RBF 커널을 사용하는 좋은 이유는 실제로 잘 작동하기 때문이라고 생각합니다. 다른 커널과 달리 보정하기가 비교적 쉽습니다.

다항식 커널에는 세 가지 매개 변수 (오프셋, 스케일링, 차수)가 있습니다. RBF 커널에는 하나의 매개 변수가 있으며이를 찾을 수있는 좋은 휴리스틱이 있습니다. 예를 들어 다음을 참조하십시오. SVM rbf 커널-감마 추정을위한 휴리스틱 방법

특징 공간의 선형 분리 성은 이유가 아닐 수 있습니다. 실제로 가우스 커널을 사용하면 열차 세트에서 분리 성과 완벽한 정확도를 강화하는 것은 쉽습니다 ($ \ gamma $를 큰 값으로 설정). 그러나 이러한 모델은 일반화가 매우 잘못되었습니다.

편집.

이 짧은 동영상 은 대역폭 매개 변수가 결정 경계에 미치는 영향을 보여줍니다.