k-fache Kreuzvalidierung mit Bootstrap-Forests-Modell und standardmäßiger Regression der kleinsten QuadrateHallo,
Ist es möglich, eine k-fache Kreuzvalidierung mit dem Bootstrap-Forests-Modell und der standardmäßigen Regression der kleinsten Quadrate in JMP zu verwenden?
Ich habe die k-fache Kreuzvalidierung mit dem Modell neuronaler Netze durchgeführt und suche nach Methoden, die dieselbe Kreuzvalidierung verwenden könnten, damit ich Modellvergleiche durchführen kann.
Danke schön.
Betreff: k-fache Kreuzvalidierung mit Bootstrap-Forests-Modell und standardmäßiger Regression der kleinsten QuadrateDanke, @russ_wolfinger . Heute habe ich mit XGBoost gespielt, um eine kontinuierliche Reaktion zu erzielen. Vielen Dank für Ihre Einladung. Später sehe ich, wie ich mit kategorischen Antworten umgehe und das endgültige Feedback in dem bereitgestellten Feld gebe.
Eigentlich meinte ich mit der K-Falten-Kreuzvalidierung eine Schwachstelle in JMP Pro: Der Inhalt von Falten wird nicht angezeigt. Genau wie dieser: https://en.wikipedia.org/wiki/Cross-validation_(statistics) . Das Schreiben von Skripten gehört nicht zu meinen Stärken, daher kann ich mich nur darauf verlassen, dass die JMP-Entwickler eine solche Option bereitstellen können.
Und ich habe vielleicht nicht richtig verstanden, warum der Output enorm sein muss. Normalerweise wird es als Liste der Falten mit dem Durchschnitt der Metriken (R2, RASE, AIC usw.) am Ende dargestellt. Bitte korrigieren Sie mich, wenn ich falsch liege.
Vielen Dank!
Mike
Betreff: k-fache Kreuzvalidierung mit Bootstrap-Forests-Modell und standardmäßiger Regression der kleinsten QuadrateHallo @Nazarkovsky , Die neue Model Screening-Plattform bietet Aufschlüsselungen nach Faltung sowohl für k-Faltung als auch für verschachtelte K-Faltung, und wie Sie sich vorstellen können, kann die Ausgabe umfangreich werden.Im XGBoost-Add-in werden die Ergebnisse immer noch über alle Faltungen hinweg zusammengefasst, aber für jedes Modell erzeugt das rote Dreieck > Vorhersageformel speichern Spalten in der Tabelle für Faltzugehörigkeit und entsprechende In-Fold- oder Out-of-Fold-Vorhersagen.Empfehlen Sie den Erwerb des neuesten JMP 16 Pro Early Adopter, um die neue Funktionalität auszuprobieren. Wir freuen uns sehr über Ihr Feedback, da wir weiterhin Verbesserungen in diesem Sinne vornehmen.
Betreff: k-fache Kreuzvalidierung mit Bootstrap-Forests-Modell und standardmäßiger Regression der kleinsten QuadrateSehr geehrter Herr Wolfinger,
Dieses Problem beunruhigt mich auch, da ich ein JMP Pro15-Benutzer bin und sehe, dass in den K-Fold-Kreuzvalidierungsabschnitten für alle Modelle einige Dinge angepasst werden müssen. Insbesondere verfügt JMP noch nicht über eine wichtige Option zur Visualisierung der Falten, sondern zeigt nur die durchschnittliche Genauigkeit (R2) ohne Details in jeder Falte an. Ich würde zum Beispiel die 5-fache Validierung durchführen und möchte die Liste der 4 Falten + deren Durchschnitt mit den Metriken (R2, AUC, AIC, RASE usw.) sehen. Wenn es ein Add-In mit dieser Option gibt, lassen Sie es mich bitte wissen, da dies beim Umgang mit kleinen Datensätzen sehr wichtig ist. Vielen DankBetreff: k-fache Kreuzvalidierung mit Bootstrap-Forests-Modell und standardmäßiger Regression der kleinsten QuadrateDanke für die Zusammenfassung. Eine k-fache Kreuzvalidierung ist also mit der Bootstrap-Gesamtstruktur in JMPpro nicht erforderlich oder nicht möglich?
Wenn Sie eine Validierungsspalte erstellen, wenn Sie ein binäres Ergebnis haben, würden Sie sich für eine geschichtete Zufallsmethode, eine Statifizierung nach Gruppe oder eine gruppierte Zufallsmethode entscheiden?
Betreff: k-fache Kreuzvalidierung mit Bootstrap-Forests-Modell und standardmäßiger Regression der kleinsten QuadrateIch möchte hinzufügen, dass wir im neuen XGBoost-Add-In für JMP Pro mit einer neuen automatisierten Methode zur Durchführung von K-Fold-CV experimentieren.Wenn Sie Zugriff auf JMP Pro 15 haben und eine Early-Adopter-Version ausprobieren möchten, lassen Sie es mich bitte wissen.Darüber hinaus planen wir vorläufig, das Add-in mit JMP Pro 16 Early Adopter im JMP-Labor bei Discovery München verfügbar zu machen.
Betreff: k-fache Kreuzvalidierung mit Bootstrap-Forests-Modell und standardmäßiger Regression der kleinsten QuadrateWie ich in Ihrer anderen Diskussion zum gleichen Thema erwähnt habe, könnten Sie die Verwendung von AICc für alle Kandidatenmodelle in Betracht ziehen. JMP Pro bietet außerdem eine Modellvergleichsplattform, die Sie unterstützt.
Betreff: k-fache Kreuzvalidierung mit Bootstrap-Forests-Modell und standardmäßiger Regression der kleinsten QuadrateDie Antworten auf meine Frage habe ich auf der Website gefunden: https://learning.oreilly.com/library/view/Building+Better+Models+with+JMP+Pro/9781629599564/xhtml/Chapter08.xhtml#_Toc423436241 .
