Anspruchsvolle Bootstrap-Gesamtstruktur in JMPHallo,
Ein Kunde von mir fordert Bootstrap Forest in JMP heraus, da es zu unflexibel ist, die Einstellungen für die Algorithmen zu ändern. Er vergleicht es mit H2O ( http://docs.h2o.ai/h2o/latest-stable/h2o-docs/data-science/drf.html ). In dem angehängten Dokument habe ich versucht, die Einstellungen von JMP mit ihren Einstellungen abzugleichen (in grau sind die gelben nur in H2O).
Es gibt verschiedene Einstellungen, die in JMP nicht geändert werden können (und wahrscheinlich nicht implementiert werden), wie z
- offset_column (Offsets sind pro-Reihe "Bias-Werte", die während des Modelltrainings verwendet werden.)
- balance_classes (Überschneidungen der Minderheitsklassen, um die Klassenverteilung auszugleichen)
- nbins (Geben Sie die Anzahl der Fächer an, die das Histogramm erstellen soll, und teilen Sie sie am besten Punkt auf.)
- stopping_metric (Viel mehr als R2 und RMSE: Geben Sie die Metrik an, die für das frühe Stoppen verwendet werden soll
- Prüfpunkt (Verwenden Sie diese Option, um ein neues Modell als Fortsetzung eines zuvor generierten Modells zu erstellen.)
- col_sample_rate_per_tree / level (Geben Sie die Abtastrate der Spalte pro Baum oder Ebene an.)
- min_split_improvement (Der Wert dieser Option gibt die minimale relative Verbesserung der Fehlerquadratreduzierung an, damit ein Split auftreten kann -> kann dazu beitragen, Überanpassung zu reduzieren.)
- und noch einiges mehr
Ich habe ihn gefragt, was er von diesen Optionen erwartet, da ich bezweifle, dass das resultierende Modell so viel Verbesserung bringen wird, dass es als ernsthaft eingestuft wird. Er sagt, es sei bemerkenswert besser. Ich habe dann die H2O-Site überprüft und vermutet, dass dies auf ein ganz besonderes Problem zurückzuführen ist und dass Sie mit all diesen Tuning-Optionen wirklich ein besseres Ergebnis erzielen könnten.
Haben Sie von anderen Kunden gehört, dass es andere (bessere Werkzeuge) für Waldmodelle gibt?
Und Chris oder andere Entwickler: Denken Sie, dass das Hinzufügen der einen oder anderen Einstellung eine gute Option wäre?
Vielen Dank,
Martin
Betreff: Bootstrap Forest in JMP herausfordernMartin,
Dieses H2O-Paket ist neu für mich, aber es sieht so aus, als könnte ich es auch mit Python und in einem ipython-Notebook verwenden.
Dieser Link auf Git Hub lässt es so aussehen, als wäre es nach der Einrichtung auch relativ einfach zu benutzen.
https://github.com/h2oai/h2o-3/blob/master/h2o-docs/src/product/tutorials/rf/rf.md Wenn ich Zeit habe, würde ich gerne sehen, ob ich damit laufen kann. Es ist möglicherweise etwas einfacher zu verwenden als XGBoost. Beide haben einige Rastersuchoptionen für die Abstimmung.
"H2O ist eine Open-Source-Plattform, eine verteilte, schnelle und skalierbare Plattform für maschinelles Lernen und prädiktive Analyse, die es Ihnen ermöglicht, maschinelle Lernmodelle mit Big Data zu erstellen, und ermöglicht die einfache Produktion dieser Modelle in einer Unternehmensumgebung." Die Beschreibung auf der Hauptwebseite ist der Sprache, in der SAS Viya beschrieben wird, bemerkenswert ähnlich. Wenn Ihr Kunde dies wünscht, ist er JMP vielleicht entwachsen?
Betreff: Bootstrap Forest in JMP herausfordernDie Möglichkeit, Stoppmessungen zu ändern, wurde von einigen Kunden in meinem Patch angefordert. Ausgleichsklassen können mit einer inversen Anteilsgewichtung erzielt werden, wären aber gut, wenn sie automatisiert wären. Danke für die Hinweise.Betreff: Bootstrap Forest in JMP herausfordernGeben Sie es an die E-Mail-Adresse jmpbeta@jmp.com, damit das Entwicklerteam einen Blick darauf werfen kann. Ich möchte auch darauf hinweisen, dass dies eine spezielle Untermenge von Random Forest sein kann. Sie könnten nur das "verteilte" Bit angehen, um das Problem des Urheberrechts zu vermeiden, aber es könnte auch auf etwas anderes hindeuten. Ich bin auf einen anderen namens "Conditional Tree" gestoßen, der eine spezielle Variante von Gradient Boosted Tree ist ...
FWIW, die meisten Datenwissenschaftler, mit denen ich spreche, sind mit dem, was wir haben, zufrieden. Einige der oben genannten Optionen klingen so, als könnten sie mit Gewichtung und unterschiedlichen Validierungsstrategien behandelt werden.
MBetreff: Bootstrap Forest in JMP herausfordernNoch ein Kommentar dazu: Ich habe gehört, dass mehr Einstellmöglichkeiten für neuronale Netze häufiger sind, wie mehr Ebenen, mehr Trainings- und Aktivierungsalgorithmen, ...
Aber es war neu für Random Forest. Ich war auch neugierig, ob andere ähnliche Geschichten gehört haben.