Eine der Gefahren beim maschinellen Lernen ist die Überanpassung.Das Target-Shuffling von John Elder bietet eine sehr intuitive Bewertung des Modells.Da gibt es viele Referenzen.Unten ist nur einer von ihnen.http://www.kdnuggets.com/2014/02/3-ways-to-test-accuracy-your-predictive-models.html .Es wird gut sein, diese Fähigkeit in JMP zu haben.
Xiaojie Zhou zhou.x.1@pg.com - Innovationszentrum Sharon Woods, Cincinnati
@SamGardner Anscheinend wird dies von der Entwicklung untersucht, sollten wir den Status ändern?
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />Simulieren wird in JMP Pro 13.0 verfügbar sein.
Dies ist mit der Simulationsfunktion in JMP Pro möglich, indem Sie diesen einfachen Schritten folgen.Um ein Ziel-Shuffling auf einem Ziel mit dem Namen :Y durchzuführen, zum Beispiel:
1) Klicken Sie mit der rechten Maustaste auf Y und wählen Sie New Formula Column -> Random -> Sample Without Replacement. Dadurch wird eine neue Formelspalte namens Shuffle erstelltdie die Zeilen von Y zufällig mischt.
2) Führen Sie das Modell auf der ursprünglichen Antwortspalte aus.
3) Suchen Sie die Modelldiagnose, an der Sie interessiert sind (z. B. R-Quadrat, AIC, Fehlklassifikationsrate usw.), und klicken Sie im Bericht mit der rechten Maustaste darauf.
4) Wählen Sie im angezeigten Popup-Fenster die Option „Simulieren“ am Ende der Liste der Optionen.
5) Im erscheinenden Dialog Simulieren Wählen Sie Y für „Column to Switch Out“ und Shufflefür „Spalte zum Einschalten“.. Klicken Sie dann auf OK.Wenn Sie möchten, können Sie vor dem Klicken auf OK optional den Zufallsstartwert festlegen, wenn Sie möchten, dass die Ergebnisse reproduzierbar sind, oder die Anzahl der Proben auf etwas anderes als 2500 ändern, wenn Sie dies wünschen.Eine kleinere Anzahl von Proben könnte erwünscht sein, wenn die Anpassung des Modells lange dauern wird.Sie können auch einfach mit den Standardeinstellungen fortfahren.
Simulate führt dann das Mischen der Ziele für Sie durch und erstellt eine neue Tabelle der gemischten R-Quadrate oder anderer Diagnosen, die Sie zum Auswerten mithilfe des Mischens der Ziele ausgewählt haben.Klicken Sie in der neuen Tabelle auf das Verteilungsskript, und Sie können den Wert im Bericht mit der Verteilung der „gemischten“ R-Quadrate vergleichen.
Ich möchte darauf hinweisen, dass John Elder zwar ein starker Befürworter des Target-Shuffling ist, das Target-Shuffling jedoch eigentlich dazu gedacht ist, Sie daran zu hindern, ein Modell zu verwenden, das die Daten überangepasst hat.Die Verwendung von Modellen, die mit geeigneten Validierungspraktiken ausgewählt wurden, in Kombination mit den Overfit-verhindernden Algorithmen in den Neural-, GenReg-, PLS- und Partitionsplattformen von JMP macht das Target-Shuffling tendenziell weniger notwendig als bei anderer Allzweck-Statistiksoftware wie R , SPSS oder Statistica, für die Target Shuffling ein wesentlicher Bestandteil des Modellbewertungsprozesses ist.
