Eine Kreuzvalidierung wird durchgehaltenHallo, ich möchte eine Hold-Out-Kreuzvalidierung für die zufällige Gesamtstruktur durchführen, weiß aber nicht, ob JMP Pro diese Option hat oder nicht. Wenn ja, wo kann ich es finden?
Prädiktive Modellierung und maschinelles LernenBetreff: Eine Kreuzvalidierung wurde ausgehaltenAah, danke @Victor_G Wenn Sie mich durch die Sache führen, sehe ich jetzt, dass die Standardeinstellungen, die für den Bootstrap-Forest innerhalb der Modell-Screening-Plattform verwendet werden, für diese Tabelle nicht geeignet sind, was zu fehlenden Ergebnissen führt.
Betreff: Eine Kreuzvalidierung wurde ausgehaltenHallo @ich h ,
Ja, kein Problem für die Nachricht an sich (da sie die Analyse nicht stoppt), aber je nachdem, welche Datentabelle Sie verwenden, erhalten Sie möglicherweise überall Leerzeichen anstelle der erwarteten Ergebnisse (siehe Screenshot „Error_RandomForest_Model-screening_LOOcrossval“, erstellt auf dem Immobilienpreisdatensatz mit einmaliger Kreuzvalidierung).
Wie ich bereits erwähnt habe, habe ich das gleiche Problem, wenn ich die „normale“ Bootstrap Forest-Plattform mit einer Validierungsformelspalte verwende (mit einer einzelnen Beobachtung in der Validierung, um eine einmalige Kreuzvalidierung durchzuführen) und die Option „Frühes Stoppen“ aktiviert ist Dies könnte das gleiche Problem mit der Plattform Model Screening sein, wo die Option „Frühes Stoppen“ wahrscheinlich standardmäßig aktiviert ist.
Sie können sich die beigefügte Immobilienpreistabelle mit mehreren Skripten zur Veranschaulichung der genannten Probleme ansehen:
- „Model Screening Random Forest of Price“: Um das Problem der „Model Screening“-Plattform zu veranschaulichen, bei der keine Ergebnisse angezeigt werden,
- „Bootstrap Forest of Price (with Early Stopping)“: Um das ähnliche Fehlerproblem mit der Plattform „Bootstrap Forest“ zu veranschaulichen, wenn „Early Stopping“ aktiviert ist,
- „Bootstrap Forest of Price (ohne frühes Stoppen)“: Um die in meiner Antwort gezeigte und von Chris Gotwalt in seinem Beispiel durchgeführte Lösung zu veranschaulichen:
- „Rsquare Training Leave-One-Out“ und „Columns Contribution (Portion) Leave-One-Out“: Zum Anzeigen von mit dieser Methode erstellten Datentabellen und der Leave-One-Out-Kreuzvalidierung.
Ich hoffe, das Problem, das ich erwähnt habe, ist jetzt klarer.
Abhängig vom Datensatz von @tuo88138 stehen zwei Methoden zur Verfügung, um eine einmalige Kreuzvalidierung zu realisieren.
Betreff: Eine Kreuzvalidierung wurde ausgehaltenHallo @Victor_G Ich glaube nicht, dass das ein Fehler ist, sondern nur eine Warnmeldung.Ich glaube nicht, dass die nicht verfügbaren Methoden diese Analyse nicht beeinflussen werden.
Betreff: Eine Kreuzvalidierung wurde ausgehaltenHallo @ich h ,
Meiner Meinung nach funktioniert die Verwendung von „Modell-Screening“ und dem von Ihnen vorgeschlagenen Setup für die K-Falten-Kreuzvalidierung, jedoch nicht immer für die Leave-One-Out-Methode (abhängig vom Datensatz).
Wenn ich K = Anzahl der Beobachtungen spezifiziere, erscheint die Fehlermeldung „Die Validierungssätze in den einzelnen Falten sind zu klein, um einige Methoden zu unterstützen“, selbst wenn im Bereich „Methode“ nur „Bootstrap Forests“ aktiviert ist. Deshalb habe ich auch darüber nachgedacht, die „Modell-Screening-Plattform“ zu verwenden, aber das ist je nach Datensatz möglicherweise nicht möglich (beim Datensatz „Boston Housingprices“ mit dieser Methode habe ich keine Zusammenfassung der Faltungen und fehlenden Werte in den einzelnen Faltungsdetails). Es funktioniert für den Datensatz „Big Class“.
Hallo @tuo88138
Sie können der von Chris Gotwalt beschriebenen Methode folgen. Ich habe sie gerade getestet und sie hat perfekt funktioniert. Möglicherweise müssen Sie „Frühes Stoppen“ im Bootstrap-Forest-Analysefenster deaktivieren, um „leere Werte“ für die verschiedenen Metriken in der Ausgabe (Rsquare, RASE usw.) zu vermeiden.
Diese Technik kann interessant sein, um die Beitragsbedeutung von Variablen über mehrere Simulationen hinweg zu vergleichen (siehe beigefügte Aufnahme „Contribution-importance_simulations“) oder um Konfidenzintervalle für einige Metriken wie beispielsweise Rsquare bereitzustellen (siehe Aufnahme „Confidence_Intervals_Rsquare“ für das Training von Rsquare am gleichen Datensatz mit demselben). Anzahl der Simulationen).
Ich hoffe, diese Antwort wird Ihnen helfen,
Betreff: Eine Kreuzvalidierung wurde ausgehaltenDie Model Screening-Plattform macht dies eigentlich ziemlich einfach: Setzen Sie einfach K im Abschnitt „Folded Crossvalidation“ gleich der Anzahl der aktiven Zeilen.
Einzelheiten zu jeder Falte finden Sie im Abschnitt „Details“ des Berichts. Wenn Sie wissen möchten, welche Zeile zu welcher Falte gehört, können Sie den Abschnitt „Schulung“ öffnen, eine dieser Falte entsprechende Zeile auswählen und unter der Tabelle auf „Ausgewähltes Skript speichern“ klicken .Der Tabelle wird eine neue Spalte hinzugefügt, die die Validierungszeilen angibt.
Betreff: Eine Kreuzvalidierung wurde ausgehaltenJa, habe ich. Das Problem ist folgendes: Ich habe einen kleinen Datensatz, daher muss ich einen weglassen
Betreff: Eine Kreuzvalidierung wurde ausgehaltenja, lass genau eins weg
Betreff: Eine Kreuzvalidierung wurde ausgehaltenHallo @tuo88138 ,
Als @Mark_Bailey schlägt vor, dass Sie sich die Dokumentation und Informationen hinter den Random Forests-Modellen ansehen können, da dieses Modell bereits robust ist und aufgrund des verwendeten Bootstrapping-Prozesses keine spezielle Kreuzvalidierung benötigt:
- Random Forest-Modell Passt ein Ensemble-Modell an, indem viele Entscheidungsbäume gemittelt werden, von denen jeder an eine Bootstrap-Stichprobe der Trainingsdaten angepasst wird. Da das Bootstrapping auf Trainingsdaten erfolgt, werden nicht alle Daten zum Erstellen einzelner Bäume verwendet. Daher werden Stichproben, die nicht bei der Erstellung einzelner Bäume verwendet werden (sogenannte „Out-of-Bag“-Stichproben (OOB)), zum Schätzen von Fehlern im Modell verwendet kann auch verwendet werden, um die Leistung jedes Baums im Random Forest zu bewerten: Zusammenfassungen pro Baum (jmp.com)
Wenn Sie jedoch daran interessiert sind, die Random Forest-Plattform mehrmals mit verschiedenen Trainings- und Validierungsbeispielen neu zu starten, können Sie dies wie folgt tun:
- Erstellen einer Validierungsformelspalte in Ihrem Datensatz (Sie können die Größe jedes Satzes angeben, sodass Sie etwas Ähnliches wie eine K-fache Kreuzvalidierung oder eine Leave-One-Out-Validierung durchführen können),
- Erstellen Sie ein Random Forest-Modell und geben Sie im Teil „Validierung“ des Menüs Ihre Validierungsformelspalte an.
- Sobald das Modell angepasst ist, können Sie mit der rechten Maustaste auf alle Metriken klicken, die Sie durch Kreuzvalidierung auswerten möchten (z. B. Rsquare oder RASE für Trainings- und Validierungssätze oder die Summe der Quadrate in den Spaltenbeiträgen), um zu sehen, ob noch wichtige Faktoren vorhanden sind unabhängig von den Trainings-/Validierungssätzen den gleichen Rang haben) und klicken Sie auf „Simulieren“. Die „Spalte zum Auswechseln“ ist Ihre Validierungsformelspalte und auch die „Spalte zum Einwechseln“ (um verschiedene Trainings- und Validierungssätze zu generieren und auszutauschen). Sie können auch die Anzahl der auszuführenden Simulationen angeben und einen zufälligen Startwert angeben, wenn Sie eine reproduzierbare Simulation erstellen möchten.
- Es wird eine neue Datentabelle mit den durchgeführten Einzelsimulationen und den Ergebnissen erstellt.
Der gesamte Prozess kann in dieser Präsentation von Chris Gotwalt gesehen werden: Unterschiedliche Ziele, unterschiedliche Modelle: So schärfen Sie Ihre Fragestellung mithilfe von Modellen ... - JMP-Benutzergemeinschaft (ca. 17 Minuten)
Die Kreuzvalidierung von Random Forests ist in JMP zwar möglich, aber Random Forests sind Modelle, die robust gegenüber chaotischen/verrauschten Daten sind und aufgrund des Bootstrappings bei kleinen Datensätzen genau sind. Wenn Sie also keine konkrete Idee haben, diese Kreuzvalidierung zu verwenden, Mit dem Modell „so wie es ist“ können Sie eine gute Schätzung der Genauigkeit (mit OOB-Proben) und zuverlässige Ergebnisse erzielen.
Ich hoffe, diese Antwort wird Ihnen helfen,
Betreff: Eine Kreuzvalidierung wurde ausgehaltenHaben Sie die Dokumentation gelesen? Bootstrap-Wald Modelle?
Betreff: Eine Kreuzvalidierung wurde ausgehaltenWenn Sie sagen: „...Kreuzvalidierung zurückhalten...“ meinen Sie damit das, was allgemein als „eine weglassen“ bekannt ist?
