Wie lässt sich eine komplexe Zeitreihenanalyse am besten lösen?Hallo,
Folgendes möchte ich tun (meine JMP-Version ist 19.0.3):
- Ich habe einen Datensatz mit über 10 Millionen Zeilen, Zeitreihendaten
- Ich muss eine segmentierte Anpassung für mehr als 1000 Segmente durchführen.
- Ich weiß, dass ich das in R machen kann, aber nicht, wie in JMP.
- Mein Ziel ist nun:
- Die Daten sind in JMP vorhanden.
- Führen Sie die segmentierte Montage in R durch.
- Die Daten in einer neuen Tabelle zusammenfassen.
- Die Daten zurück an JMP übertragen
Die Alternative wäre, die Zusammenfassungstabellen komplett außerhalb von JMP zu erstellen – falls dies jedoch möglich ist, würde ich es gerne innerhalb von JMP und seiner R-Integration versuchen.
Was mir helfen würde, wären: Schulungsressourcen / Lesematerialien für R in JMP und Hinweise, falls Sie so etwas schon einmal gemacht haben.
Danke schön!
OverviewOverviewOverviewOverviewOverviewOverviewOverviewOverviewOverviewOverviewÜberblick
ZoomZoomZoomZoomZoomZoomZoomZoomZoomZoomZoom
Deep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomDeep ZoomTiefenzoom
Fortgeschrittene statistische ModellierungBetreff: Beste Methode zur Lösung einer komplexen Zeitreihenanalyse?Soweit ich mich erinnere, erfolgt die R-Integration in JMP 19 aktuell über die Python-Integration. Hier ist eine Präsentation aus der Aufzeichnung des Scripters Club: „R is Back Again in JMP 19 – Exploring R and Python Integration“.
Betreff: Beste Methode zur Lösung einer komplexen Zeitreihenanalyse?Danke @jthi , das ist ein guter Ausgangspunkt!
Betreff: Beste Methode zur Lösung einer komplexen Zeitreihenanalyse?Hallo @PurpleBat ,
Um besser zu verstehen, was Sie erreichen möchten: Was genau bewirkt die Segmentierung/was ist das Endziel? Segmentiere ich die Zonen, in denen Aktivität herrscht (z. B. steigender Phil T1-Durchschnitt)?
Wenn Sie den Prozess in R oder das Paket kommentieren können, ist es möglicherweise möglich, dasselbe mit JMP oder sogar JSL zu erreichen.
Danke,
Ben
Betreff: Beste Methode zur Lösung einer komplexen Zeitreihenanalyse?Hallo Ben,
Ich möchte aus den Segmenten das Minimum und Maximum sowie die Anstiegszeit extrahieren (in erster Näherung durch Anpassung an 1-exp(-t/tau)) und dann den Parameter tau verwenden, um den Anstieg zu beschreiben.
Sobald ich das habe, möchte ich mir die Entwicklung von Tau im Laufe der Zeit ansehen.
Hilft das weiter?
Betreff: Beste Methode zur Lösung einer komplexen Zeitreihenanalyse?Hallo @PurpleBat ,
Wie definieren Sie die Segmente? Sind sie gleich lang (Länge von X)? Werden sie mithilfe eines Set-Pakets in R generiert? Ich bin mir sicher, dass dies auch in JMP möglich ist, benötige aber weitere Details.
Speziell für R enthält der Skriptindex (Hilfe > Skriptindex) alle Details zur R-Integration und den Komponenten, die für die Ausführung benötigt werden (siehe Screenshot unten).
Danke,
Ben
Betreff: Beste Methode zur Lösung einer komplexen Zeitreihenanalyse?Hallo @PurpleBat ,
Es gibt auch diese Seite zur Arbeit mit R in JMP: https://www.jmp.com/support/help/en/19.0/index.shtml#page/jmp/work-with-r.shtml#ww1284119
Danke,
Ben
Betreff: Beste Methode zur Lösung einer komplexen Zeitreihenanalyse?Sobald die Segmente einzeln beschriftet sind, können die Anstiegszeiten beispielsweise mit der Funktion „Kurve anpassen“ in JMP extrahiert werden. Die Schwierigkeit besteht darin, die Segmente automatisch zu erkennen. Bitte teilen Sie uns mit, wie Sie den Anfang und das Ende jedes Segments definieren. Ich gehe vorerst davon aus, dass jedes Segment an einem lokalen Maximum oder Minimum beginnt bzw. endet.
So können Sie JMP anweisen, automatisch alle lokalen Maxima und Minima zu finden und in einer neuen Spalte zu markieren. Im nächsten Schritt wird ein Skript verwendet, um jedes Segment mithilfe dieser Markierungen eindeutig zu kennzeichnen.
Wenn Sie Ihre Datentabelle (oder eine repräsentative Beispieldatentabelle) hochladen möchten, kann ich Ihnen veranschaulichen, wie Sie diesen Ansatz direkt auf Ihre Daten anwenden können.
Betreff: Beste Methode zur Lösung einer komplexen Zeitreihenanalyse?Vielen Dank an @christian-z und @Ben_BarrIngh ,
Die Segmente sind unregelmäßig, beginnen aber jeweils an einem lokalen Minimum oder Maximum. Zur Veranschaulichung habe ich ein kleines Beispiel aus dem wesentlich größeren Datensatz entnommen (die Größe wurde von 1,7 GB auf ca. 500 kB reduziert).
Ich werde auch selbst weiter an diesem reduzierten Datensatz arbeiten und dann sehen, wie er sich auf den größeren übertragen lässt.
Vielen Dank für die tollen Tipps und die bisherige Hilfe!
Betreff: Beste Methode zur Lösung einer komplexen Zeitreihenanalyse?@PurpleBat, hier ist eine aktualisierte Version deiner Beispieltabelle, damit du loslegen kannst. Ich habe Formelspalten hinzugefügt und einige Skripte in der Datentabelle gespeichert. Hoffentlich ist sie selbsterklärend, aber melde dich einfach, falls du Fragen hast.
Ich empfehle, beim Debuggen den Datenfilter zu verwenden, um mit einer kleinen Teilmenge Ihrer Tabelle zu arbeiten. Beachten Sie dann, dass die vollständige Analyse des Datensatzes mit Tausenden von Kurven einige Augenblicke dauern kann.
Als nächste Schritte könnten wir beispielsweise nur die abfallenden Kurven herausfiltern (vorausgesetzt, diese sind die interessanten), die Daten so ausrichten, dass sie alle bei t=0 beginnen, die Kurven gegebenenfalls normalisieren usw.
