내 이해로는 SGD 분류기와 로지스틱 회귀가 비슷해 보입니다. loss = “log”인 SGD 분류자는 Logistic 회귀를 구현하고 loss = “hinge”는 선형 SVM을 구현합니다. 또한 로지스틱 회귀는 최적화 기능으로 경사 하강 법을 사용하고 SGD는 훨씬 빠르게 수렴하는 확률 적 경사 하강 법을 사용한다는 것을 이해합니다. 그러나 두 가지 알고리즘 중 어떤 시나리오를 사용할까요? 또한 SGD와 로지스틱 회귀는 어떻게 유사하며 어떻게 다른가요?
댓글
- scikit-learn.org/stable/modules/generated/…
답변
SE : Data Science에 오신 것을 환영합니다.
SGD는 최적화 방법이고 Logistic Regression (LR)은 기계 학습 알고리즘 / 모델입니다. 기계 학습 모델이 손실 함수를 정의하고 최적화 방법이이를 최소화 / 최대화한다고 생각할 수 있습니다.
일부 기계 학습 라이브러리는 사용자가 두 개념에 대해 혼란스럽게 만들 수 있습니다. 예를 들어 scikit-learn 에는 SGDClassifier라는 모델이있어 일부 사용자가 SGD가 분류 자라고 오해 할 수 있습니다. 하지만 아니요, “SGD에 의해 최적화 된 선형 분류기입니다.
일반적으로 SGD는 LR 또는 선형 모델뿐만 아니라 광범위한 기계 학습 알고리즘에 사용할 수 있습니다. LR은 다음과 같은 다른 최적화 도구를 사용할 수 있습니다. L-BFGS, conjugate gradient 또는 Newton-like methods.
Comments
- 그래서 제가
clf = SGDClassifier( class_weight='balanced', alpha=i, penalty='l2', loss='hinge', random_state=42)선형 SVM의 구현이며clf = SGDClassifier( class_weight='balanced', alpha=i, penalty='l2', loss='log', random_state=42)를 작성하면 Logisitic 회귀의 구현입니다. 맞습니까? - @AkashDubey 예