Eine der Gefahren beim maschinellen Lernen ist das Überanpassen (Overfitting). John Elders Methode des Ziel-Shufflings ermöglicht eine sehr intuitive Beurteilung des Modells. Es gibt zahlreiche Referenzen dazu. Eine davon ist unten aufgeführt: http://www.kdnuggets.com/2014/02/3-ways-to-test-accuracy-your-predictive-models.html . Es wäre wünschenswert, diese Funktion in JMP zu haben.
Xiaojie Zhouzhou.x.1@pg.com- Sharon Woods Innovationszentrum, Cincinnati
Basierend auf der Beschreibung von @chris_gotwalt1 können wir dies als abgeschlossen betrachten. Sollten weitere Funktionen benötigt werden, fügen Sie diese bitte als zusätzlichen Wunsch hinzu; wir werden sie dann prüfen.
@SamGardner Es sieht so aus, als würde dies von der Entwicklungsabteilung untersucht. Sollten wir den Status ändern?
Die Funktion „Simulieren“ wird in JMP Pro 13.0 verfügbar sein.
Dies ist mithilfe der Simulationsfunktion in JMP Pro durch Befolgen dieser einfachen Schritte möglich. Um beispielsweise ein Ziel mit dem Namen :Y zu mischen:
1) Klicken Sie mit der rechten Maustaste auf Y und wählen Sie „Neue Formelspalte“ → „Zufällig“ → „Ziehen ohne Zurücklegen“. Dadurch wird eine neue Formelspalte mit dem Namen „Mischen“ erstellt. das die Zeilen von Y zufällig neu anordnet.
2) Wenden Sie das Modell auf die ursprüngliche Antwortspalte an.
3) Suchen Sie die Modelldiagnose, die Sie interessiert (z. B. R², AIC, Fehlklassifizierungsrate usw.), und klicken Sie im Bericht mit der rechten Maustaste darauf.
4) Wählen Sie im daraufhin angezeigten Popup die Option „Simulieren“ aus, die sich im unteren Bereich der Optionsliste befindet.
5) Wählen Sie im daraufhin angezeigten Dialogfeld „Simulieren“ die Option „J“ für „Auszuwechselnde Spalte“ und anschließend „Mischen“. für „Spalte zum Einschalten“. Klicken Sie anschließend auf OK. Falls gewünscht, können Sie vor dem Klicken auf OK den Zufallsgenerator-Seed festlegen, um reproduzierbare Ergebnisse zu erzielen, oder die Anzahl der Stichproben auf einen anderen Wert als 2500 ändern. Eine geringere Stichprobenanzahl kann sinnvoll sein, wenn die Modellanpassung lange dauert. Alternativ können Sie auch die Standardeinstellungen beibehalten.
Simulate führt anschließend die Zielverteilungsanpassung durch und erstellt eine neue Tabelle mit den angepassten R²-Werten oder anderen von Ihnen ausgewählten Diagnosewerten. Klicken Sie in der neuen Tabelle auf das Verteilungsskript, um den Wert im Bericht mit der Verteilung der angepassten R²-Werte zu vergleichen.
Ich möchte darauf hinweisen, dass John Elder zwar ein starker Befürworter des Target Shuffling ist, dieses aber eigentlich dazu dient, die Verwendung eines Modells zu verhindern, das die Daten überangepasst hat. Die Verwendung von Modellen, die mithilfe geeigneter Validierungsverfahren ausgewählt wurden, in Kombination mit den Überanpassungsverhinderungsalgorithmen der JMP-Plattformen Neural, GenReg, PLS und Partition macht Target Shuffling tendenziell weniger notwendig als bei anderer allgemeiner Statistiksoftware wie R , SPSS oder Statistica, für die Target Shuffling ein wesentlicher Bestandteil der Modellevaluierung ist.
