Antwort
Ja, es gibt einen Unterschied. Wenn Sie in sklearn Entscheidungsbäume einpacken, verwenden Sie dennoch alle Funktionen für jeden Entscheidungsbaum. In zufälligen Gesamtstrukturen verwenden Sie jedoch eine Teilmenge von Funktionen.
Die offizielle sklearn-Dokumentation zu Ensembling-Methoden hätte etwas klarer sein können Der Unterschied ist, was hier steht:
- „ Wenn Proben mit Ersatz gezogen werden, wird die Methode als Absacken “
- „bezeichnet. In zufälligen Gesamtstrukturen (siehe RandomForestClassifier- und RandomForestRegressor-Klassen) wird jeder Baum im Ensemble aus einem Beispiel erstellt, das durch Ersetzen (dh ein Bootstrap-Beispiel) aus dem Trainingssatz gezogen wurde. „
Es scheint also keinen Unterschied zu geben, ob Sie Entscheidungsbäume einsacken, oder? In der Dokumentation heißt es außerdem:
„ Wenn außerdem jeder Knoten während der Erstellung eines Baums aufgeteilt wird, wird die beste Aufteilung entweder aus allen Eingabemerkmalen oder einer zufälligen Teilmenge der Größe max_features. „
Dies ist also eine weitere Möglichkeit, Zufälligkeit einzuführen, indem die Anzahl der Features an den Teilungen begrenzt wird. In der Praxis ist es nützlich, max_features zu optimieren, um eine gute Anpassung zu erzielen.
Kommentare
- ' ist nicht jeder Baum , der eine Teilmenge von Kandidatenmerkmalen empfängt, sondern ' jeder split .
- @Matthew Drury Vielen Dank für den Hinweis, korrigiert.