Dieses Add-in hilft bei der Erstellung von Validierungsspalten für Daten, die eine Korrelation zwischen Zeilen enthalten könnten, entweder aufgrund von Autokorrelation oder anderen Faktoren, einschließlich Rauschen, das sich auf sequentielle Zeilen auswirkt. Die Daten werden nach Zeilen gruppiert, dann werden Gruppen dem Training oder der Validierung zugewiesen. Es besteht auch die Möglichkeit, Gruppierung und Cutpoint-Validierung zusammen zu verwenden, sodass Validierungsgruppen über die Zeit verteilt werden, während sich die letzten Zeilen im Testsatz befinden. Dem Benutzer wird eine Standardempfehlung angezeigt, die bei der Analyse kontinuierlicher Prozessdaten wahrscheinlich nützlicher ist als die Verwendung der Standardvalidierungsplattform. Wenn Zielvariablen ausgewählt werden, werden Diagramme angezeigt, um dem Benutzer die Visualisierung der Trainings-/Validierungsaufteilung zu erleichtern.
Dies wurde mit den JMP Pro-Versionen 16 und 17 erstellt.Es wurde nicht auf Standard- oder älteren Versionen von JMP getestet.
Finden Sie dieses Projekt weiter unten GitHub , zögern Sie nicht, dort Probleme einzureichen oder Anfragen zu stellen.
Motivation
Standardmäßig weist die Validierungsplattform Zeilen dem Training und der Validierung zufällig und individuell zu. Wenn Zeilen unabhängig sind, ist dies ideal. Wenn eine Zeile jedoch von der vorherigen Zeile abhängt, führt diese Aufteilung zu unrealistischen Erwartungen an die Vorhersagekraft eines Modells, da die Informationen im Trainingssatz im Wesentlichen zur Validierung und zum Testen des Modells verwendet werden.In Zeitreihen wird dies normalerweise mithilfe der Cutpoint-Validierung gelöst @ian_jmp Und @julianisch hat hierfür ein tolles Add-in entwickelt: Erstellen Sie eine Zeitreihenvalidierungsspalte .Für viele explorative Modelle ist die Verwendung der neuesten Zeilen jedoch nicht der beste Ansatz, insbesondere wenn kürzliche Änderungen den Ausschlag für die Analyse gaben.Die Auswahl von Zeilengruppen aus dem Trainingssatz erhöht die Wahrscheinlichkeit, dass dem Modell noch aktuelle Daten zur Verfügung stehen, und minimiert gleichzeitig die Wahrscheinlichkeit, dass einzelne Rauschquellen sowohl in der Trainings- als auch in der Validierungsgruppe vorhanden sind.
Alternativen
Zwei andere Möglichkeiten zur Datenanalyse mit Korrelation zwischen Zeilen sind in manchen Situationen besser, aber nicht immer realisierbar:
- Reduzieren Sie die Datentabelle so, dass sie wirklich unabhängige Zeilen enthält, wodurch die Möglichkeit ausgeschlossen wird, dass eine Zeile mit der vorherigen Zeile korreliert.Manchmal ist es schwierig oder zeitaufwändig, jede Spalte effektiv in unabhängige Zeilen zusammenzufassen.Wenn ein Benutzer beispielsweise nicht bereits weiß, dass sich ein 15-minütiges Ereignis in einer Variablen zu Beginn einer Prozessverweilzeit von 2 Tagen auf sein Ziel auswirkt, weiß der Benutzer möglicherweise nicht, wie er diese Variable über 2 oder mehr Tage zusammenfassen soll um unabhängige Zeilen zu erhalten.
- Modellieren oder prognostizieren Sie die Autokorrelation. Die Zeitreihenplattform ist ein guter Ausgangspunkt, und die Einbeziehung verzögerter Variablenreihen in multivariate Modelle kann viele zusätzliche Einblicke in den Prozess liefern.Bei komplexen Prozessen mit Hunderten von Variablen ist dies zeitaufwändig und komplex und übersteigt in der Regel die Fähigkeiten neuer Benutzer.
Die Benutzeroberfläche
Der Benutzer wählt ggf. Zielvariablen aus. Standardmäßig wird die erste davon zur Schichtung verwendet, obwohl dies je nach Gruppen- und Tabellengröße nicht immer Auswirkungen auf die Aufteilung hat.Der Standardvalidierungstyp ist Gruppierung und eine empfohlene Gruppengröße wird angezeigt.
Einige Informationen zu Zielvariablen werden angezeigt, um dem Benutzer die Ermittlung einer geeigneten Gruppengröße zu erleichtern.
Einzelheiten zu „Under the Hood“.
Die empfohlene Gruppengröße basiert auf einer Zeitreihenanalyse jeder Zielvariablen.Die Plattform wählt eine Verzögerungszeit, bei der die nächsten Zeilen eine Autokorrelation von weniger als 0,1 aufweisen, und stellt dann eine Mindestanzahl von Gruppen in kleinen Tabellen sicher und erhöht die Gruppengröße in großen Tabellen.
Änderungen
Hier finden Sie Updates in der neuesten Version. Eine vollständige Liste der Änderungen finden Sie in CHANGELOG.md auf Github.
Hinzugefügt
- Zeigen Sie das Änderungsprotokoll über die Benutzeroberfläche auf dem Info-Bildschirm an
Geändert
- Berechnet Gruppengrößenbeschränkungen, indem nur Zeilen verwendet werden, die nicht ausgeschlossen sind.
- Zeigt nur numerische Spalten in der Liste potenzieller Ziel- und Startvariablen an.
Fest
- Zielspalten werden manchmal auf ausgewählte Spalten in der Tabelle zurückgesetzt.
- Es wurde nicht immer der richtige Validierungsspaltenname verwendet.
- Wenn die Option „Automatische Aktualisierung“ deaktiviert ist, werden einige Werte nicht aktualisiert.
Rückmeldung
Wir sind auf der Suche nach Vorschlägen und Ideen, sowohl im Zusammenhang mit dieser Benutzeroberfläche als auch für andere Möglichkeiten, dieses Problem zu lösen. Für philosophische Diskussionen können Sie gerne einen neuen Beitrag im erstellen Diskussion Forum und Tag @ich h Und @DrewLuebe um unsere Aufmerksamkeit zu erregen, das wird viel Raum für Diskussionen geben.
@ich h Das glaube ich nicht. Würde es Ihnen etwas ausmachen, einen neuen Wunschartikel zu öffnen? oder soll ich?
@FN Ich stimme zu, die integrierte Kreuzvalidierung würde dadurch für diese Art von Daten viel nützlicher werden. Sie haben hierfür noch keinen Wunschlisteneintrag eingetragen, oder?
Das ist großartig und sehr gut erklärt. Ich glaube, dass JMP Sensordaten besser unterstützen muss.
Beispielsweise ist die K-Faltung wiederum eine zufällige Aufteilung.
https://community.jmp.com/t5/Discussions/k-fold-cross-validation-in-time-series-with-JMP-JMP-PRO/td-p/189094
Eine Zeitreihenaufteilung hilft außerdem:
https://scikit-learn.org/stable/modules/cross_validation.html#time-series-split
