À ma connaissance, le classificateur SGD et la régression logistique semblent similaires. Un classificateur SGD avec loss = « log » implémente la régression logistique et loss = « hinge » implémente le SVM linéaire. Je comprends également que la régression logistique utilise la descente de gradient comme fonction doptimisation et que SGD utilise la descente de gradient stochastique qui converge beaucoup plus rapidement. Mais lequel des deux algorithmes utiliser dans quels scénarios? De plus, en quoi SGD et la régression logistique sont-elles similaires et en quoi sont-elles différentes?
Commentaires
- scikit-learn.org/stable/modules/generated/…
Réponse
Bienvenue dans SE: Data Science.
SGD est une méthode doptimisation, tandis que la régression logistique (LR) est un algorithme / modèle dapprentissage automatique. Vous pouvez penser quun modèle dapprentissage automatique définit une fonction de perte et que la méthode doptimisation la minimise / maximise.
Certaines bibliothèques dapprentissage automatique peuvent rendre les utilisateurs confus au sujet des deux concepts. Par exemple, dans scikit-learn , il existe un modèle appelé SGDClassifier qui pourrait induire certains utilisateurs en erreur en leur faisant croire que SGD est un classificateur. Mais non, cest « un classificateur linéaire optimisé par SGD.
En général, SGD peut être utilisé pour une large gamme dalgorithmes dapprentissage automatique, pas seulement des modèles LR ou linéaires. Et LR peut utiliser dautres optimiseurs comme L-BFGS, méthodes de gradient conjugué ou de type Newton.
Commentaires
- Donc, si jécris
clf = SGDClassifier( class_weight='balanced', alpha=i, penalty='l2', loss='hinge', random_state=42)cest une implémentation de SVM linéaire et si jécrisclf = SGDClassifier( class_weight='balanced', alpha=i, penalty='l2', loss='log', random_state=42). Cest une implémentation de régression logisitique. Ai-je raison? - @AkashDubey Oui