Betreff: Zeitreihenprognose mit zwei korrelierten VariablenEin paar klärende Fragen und ich werde einige Vorschläge machen:
1. Versuchen Sie, die Gesamtausgaben für die Gruppe oder pro Kopf vorherzusagen?
2. Haben Sie historische Daten für die x- und y-Gruppen im Alter von 40 bis 60 bis 70 bis 80 Jahren?
3. Versuchen Sie, ein Vorhersagemodell oder ein Erklärungsmodell zusammenzustellen?
Und ein Modellierungsgedanke ... mit gruppierten x-Variablen wie diesem, während ich die Verwendung von Fit Model nicht bestreite, oder eine der Zeitreihenmodellierungsoptionen könnte wertvoll sein ... Ich denke an eine der nichtlinearen Modellierungsmethoden wie Partition könnte auch nützlich sein? Ich bin immer ein Befürworter, viele scheinbar unterschiedliche Modellierungsmethoden auszuprobieren und zu sehen, welche für das jeweilige praktische Problem am besten geeignet ist.
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenDanke für die Antwort!
(a) Die Gesamtausgaben für die Gruppe sind das, wonach ich suche (obwohl die Pro-Kopf-Ausgaben in jeder Altersgruppe auch nützlich wären).
(b) Ich habe alle historischen Daten – aber was es ein bisschen schwieriger macht, ist, dass die Belastung der Gesundheitsversorgung im jüngeren Erwachsenenalter in diesen Bereichen eher flach ist. Aber jenseits von 65-70 steigt es eher exponentiell an. Wenn also dieser Bevölkerungsanstieg diese Altersgruppe erreicht, werden die Gesamtausgaben dramatisch steigen.
(c) Vorausschauend – Versuch, zukünftige Kosten für das Gesundheitswesen abzuschätzen
In Bezug auf nichtlineare Modelle reichen die historischen Daten, die ich habe, nur 20 Jahre zurück (also 20 Zeilen), daher denke ich nicht, dass mein Satz groß genug ist, um Daten zur Validierung für die nichtlinearen Modelle zurückzuhalten
Danke schön!
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenOK ... hier sind meine verrückten Ideen, aber ich hoffe, dass sich andere einschalten. Wenn ich die Art der von Ihnen gesammelten Daten verstehe, können Sie die Ausgaben der Altersgruppen im "flachen" Teil der Antwort auf Pro-Kopf-Basis berechnen ... dann beobachten Sie, wie jede Gruppe im Laufe der Jahre voranschreitet, und berechnen Sie ihre Pro Kopfausgaben über 65 - 70 ... und wenn Sie bereit sind, die Pro-Kopf-Ausgaben für die Baby-Boomer-Jahre hochzurechnen, können Sie sich zu den Gesamtausgaben hocharbeiten, indem Sie die Pro-Kopf-Ausgaben mit der geschätzten Gesamtbevölkerung multiplizieren. Wenn das Sinn macht?
Offensichtlich sind Langstreckenprognosen wie diese voller Unbekannter. Neue Fortschritte/Standards in der Pflege. Eine „besondere Ursache“ wie COVID oder längerfristige Unterschiede zwischen Bevölkerung und Bevölkerung. Zum Beispiel ... Ich wette, dass der Prozentsatz der Menschen, die in den über 70-jährigen Altersgruppen vor 20 Jahren langjährige Raucher waren, viel größer ist als heute. Oder der Himmel bewahre, dass die US-Regierung etwas Drastisches wie massive strukturelle Änderungen an Sozialprogrammen wie Medicare vornimmt, die sehr stark beeinflussen würden, was und wer wie viel im US-Gesundheitssystem bezahlt wird.
Ich habe während meiner Zeit in der Industrie immer gerne an solchen Problemen gearbeitet ... Ich war Teil einer Finanzgruppe bei einem ehemaligen Arbeitgeber, wo wir langfristige Prognosen für makroökonomische Phänomene wie Beschäftigung, Einkommen, Steuereinnahmen usw. gemacht haben Immer gab es einen Bereich, in dem das berühmte Zitat von George Box „Alle Modelle sind falsch … manche sind nützlich …“ Anwendungsbereiche wie dieser sind die Aushängeschilder.
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenIch werde ein "falsches" Modell zu was hinzufügen @P_Bartel hat gesagt.
Es gibt einen Modelltyp in der Time Series-Plattform, der als "Transfer Function Model" bekannt ist. Es modelliert eine Reaktionszeitreihe als Funktion einer oder mehrerer Eingangszeitreihen. In Ihrem Beispiel erscheint "Ausgaben" wie eine Reaktionszeitreihe und "Bevölkerung" wie eine Eingabezeitreihe.
Sehen Sie sich diese beiden Ressourcen an, die nützlich sein könnten: Dokumentation und ein Gespräch .
Mir ist nicht klar, was Sie mit "nach Altersgruppen gruppierten Zeitreihen" meinen. Haben Sie mehrere jährliche "Ausgaben"-Reihen für einzelne Altersgruppen? Dh Sie haben jährliche Ausgaben für die Altersgruppe der 60-Jährigen, unabhängig davon, dass jedes Jahr die 59-Jährigen einziehen und die 69-Jährigen ausziehen. So weiter und so weiter für die Altersgruppe der 50-Jährigen usw. Und in der Zwischenzeit haben Sie jedes Jahr eine Bevölkerungszahl der Altersgruppe der 60-Jährigen. Und die Zählung gehört nicht zum gleichen Jahrgang, da 59 einziehen und 69 ausziehen. Wenn das, was ich beschrieben habe, der Fall ist, haben Sie ziemlich viele Serien.
Oder vielleicht ist Ihre „Ausgaben“-Reihe nicht nach Alter aufgeschlüsselt. Dann haben Sie eine Antwortserie und mehrere Eingabeserien. nicht eine Eingangsserie, wie Sie sagten. In diesem Fall hat "Transfer Function Model" mehrere Eingangsreihen. In diesem Aufbau kann ein Transferfunktionsmodell die Reaktion zu jedem Zeitpunkt als gewichtete Summe aktueller und/oder früherer Eingaben und/oder der vergangenen Reaktion modellieren.
Nachdem Sie das Modell haben, müssen Sie Ihre Eingabereihen vorhersagen und in das Modell zurückkoppeln, um die Antwort weiter in die Zukunft zu prognostizieren. Und die Vorhersage von Eingabereihen ist ein separates Thema. In diesem Fall ist die Prognose der Bevölkerung nach Altersgruppen an sich schon eine Herausforderung. Die Altersgruppenverteilung hat sich in den letzten Jahrzehnten stark verändert.
Das letzte mögliche fehlende Stück für dieses Modell ist die wirtschaftliche Serie als @P_Bartel genannt. Möglicherweise möchten Sie diese Reihen als zusätzliche Eingaben hinzufügen. ZB Inflation, Makros usw.
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenVielen Dank an Sie beide für all Ihre Vorschläge und all die Dinge, die ich berücksichtigen muss. Zur Verdeutlichung habe ich die jmp-Tabelle hochgeladen. Und ja, es gibt so viele Faktoren, die für das Modell zu berücksichtigen sind - für den Zweck dieser Übung versuche ich nur, es zu einem "weniger schlechteren" Modell zu machen. Wenn ich darüber nachdenke, und vielleicht um die Dinge zu vereinfachen, die Idee, die Peng vorgeschlagen hat, eine Antwortreihe zu haben (in diesem Fall NL insgesamt, die die Gesamtausgaben darstellt - alle Spalten davor teilen diese Zahl nach Altersgruppen auf). Die folgenden 20 Spalten oder so sind die Bevölkerung in Altersgruppen und insgesamt). Die Spalten danach sind nicht wirklich notwendig. Ich denke, meine erste Frage wäre, nachdem ich die Dokumentation und das Video oben gelesen und angesehen habe, was bedeutet die "Eingabeliste" im Startfenster wirklich und wie unterscheidet sie sich von der Auswahl von "Übertragungsfunktion" aus dem Dropdown-Menü mit dem roten Dreieck , wie ich sehe, wenn ich einfach blind eine Spalte in die "Eingabeliste" setze, heißt die Ausgabe "Übertragungsfunktion". Ich konnte in keiner der Hilfen oder Videos ein Beispiel dafür finden, wie "Eingabeliste" verwendet wird, obwohl es möglicherweise auf dieses Problem anwendbar zu sein scheint.
Danke noch einmal!
Am besten,
Greg
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenHast du JMP Pro? In diesem Fall könnten Sie wahrscheinlich den Functional Data Explorer (FDE) verwenden, um Modelle zu erstellen, die für Vorhersagen verwendet werden können. In der beigefügten Tabelle habe ich die Daten gestapelt (nur die Spalten NL und Population beibehalten; die Spalten HC Expense und Canada nicht beibehalten). Der Screenshot unten zeigt Modelle für Ausgaben, die für jede der Altersgruppen geeignet sind, wobei die Bevölkerungszahl als Häufigkeit für die Gewichtung verwendet wird. Ich bin mir nicht sicher, ob Sie genau danach suchen, aber es gibt viele verschiedene Möglichkeiten, auf der FDE-Plattform zu modellieren. Hier ist eine Verbindung oder zwei zu relevantem Material auf FDE.
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenIhre Daten sind faszinierend. Ich werde ein paar Dinge aufgreifen und im Detail sprechen.
Erstens, Transferfunktionsmodell. Dies ist eine reiche Klasse von Modellen. Und vielleicht möchten Sie sich die Bibel zu diesem Thema ansehen Zeitreihenanalyse, von George EP Box, Gwilym M. Jenkins, Gregory C. Reinsel. Ich werde eine Einführungsversion mit einer Teilmenge Ihrer Daten hinzufügen; befestigt.
Die Untergruppe ist die Altersgruppe der 75- bis 79-Jährigen. Es hat ein eingebettetes Skript, das zu einer Reihe von Übertragungsfunktionsmodellen passt. Starte es. Und Sie sollten die folgende Tabelle sehen. Verwenden Sie das Kontrollkästchen, um die Berichte einzeln aufzurufen. Und ich werde erklären, was sie sind. (Übrigens, ich habe die Daten skaliert. Wenn ich die Originaldaten verwende, hat der Algorithmus aufgrund von Extremwerten in manchen Fällen Probleme.)
Das erste Modell, sehen Sie sich das Formelbild an. Es besagt, dass Scaled NL zum Zeitpunkt t ein Schnittpunkt plus ein gewichteter Wert von Scaled Population zum Zeitpunkt t plus ein Fehler ist. Das ist also nur eine einfache lineare Regression. Man kann die Plattform Fit Y by X verwenden und das gleiche Ergebnis erzielen.
Aber schauen Sie sich das Residuendiagramm unten an. Es deutet darauf hin, dass es noch ungeklärte Muster gibt.
Rufen Sie nun das zweite Modell auf und sehen Sie sich die Formel und das Residuum an.
Die Formel sieht immer noch wie eine Regression aus. Aber der Index auf Scaled Population ist t-1. Dieses Modell besagt, dass Scaled NL zum Zeitpunkt t die Summe aus einer Konstante, einem gewichteten Wert der Scaled Population zum vorherigen Zeitpunkt t-1 und einem Fehler ist. Dieses Modell lässt sich also ohne eine Datenanordnung nicht einfach in Y nach X anpassen. Jedenfalls ist dies laut Residual noch kein gutes Modell.
Rufen Sie nun das dritte Modell auf:
Sein Hauptteil ist derselbe wie beim ersten Modell, eine einfache Regression, aber der Fehlerterm sieht kompliziert aus. Wenn Sie sich mit der Notation vertraut machen, werden Sie erkennen, dass die Notation bedeutet: Skaliertes NL zum Zeitpunkt t bezieht sich auf den vergangenen Wert zum Zeitpunkt t-1. Zusammenfassend sagt dieses Modell: Der skalierte NL zum Zeitpunkt t ist die Summe aus einer Konstanten, einer gewichteten skalierten Population zum Zeitpunkt t, einem gewichteten skalierten NL zum Zeitpunkt t-1 und einem Fehlerterm. Wir haben also kompliziertere Modelle. Und schauen Sie sich das Residuendiagramm an, es gibt weniger offensichtliche Muster.
Das vierte Modell ist ähnlich, verwendet jedoch die verzögerte skalierte Population. Das Modell sagt: Scaled NL zum Zeitpunkt t ist die Summe einer konstanten, gewichteten Scaled Population zum Zeitpunkt t-1 , ein gewichtetes skaliertes NL zum Zeitpunkt t-1 und ein Fehlerterm.
Das 5. und 6. Modell werden komplizierter, aber unnötig. Aber ich belasse sie dort, um Ihnen ein Gefühl dafür zu geben, wie kompliziert die Dinge sein können. Und diese Beispiele sind immer noch ziemlich einfach.
Zusammenfassend lässt sich sagen, dass das Transferfunktionsmodell so einfach wie eine einfache lineare Regression oder komplizierter sein kann, indem es die Antwort als eine scheinbar verworrene Summe historischer Werte (und/oder Strom für Eingaben) von Antwort- und Eingabeserienwerten darstellt.
Und es scheint, dass es mindestens ein Modell gibt, das gut zu der Teilmenge passt. Lassen Sie mich das dritte Modell verwenden. Und schauen Sie sich den Teil "Interaktive Prognosen" an.
Die hervorgehobenen Markierungen können gezogen werden. Sie sollten selbsterklärend sein, wenn Sie sie verschieben. Aber um es zu betonen, die Markierungen im unteren Rahmen repräsentieren zukünftige Eingabeserienwerte. Wenn Sie zukünftige Eingabewerte prognostizieren können, sollten Sie die Markierungen an den gewünschten Stellen platzieren, und der Ausgaberahmen oben sollte zeigen, wie die Prognose für die Antwortreihe aussieht. Zukünftige Eingabewerte können auf andere Weise importiert werden, worauf ich nicht näher eingehen werde (es gibt eine Schaltfläche über dem Diagramm, die den Zweck dafür angibt).
Das Obige ist also ein Beispiel für die Verwendung des Transferfunktionsmodells zum Analysieren und Prognostizieren einer Teilmenge Ihrer Daten. Aber macht es keinen Sinn? Bei mir bin ich mir nicht sicher. Ihre Daten sind ziemlich rick. Das Modell passte gut zu dieser Teilmenge. Aber es passt nicht zu allen Teilmengen gut. Und das überlasse ich Ihnen zum Schluss.
Ich habe ein Diagramm erstellt, um zusammenzufassen, wie Ihre Daten nach Altersgruppen aussehen. Die blauen Linien sind NL-Serien nach Altersgruppen. Und die roten Linien sind entsprechende Bevölkerungsreihen. Alle NL-Serien haben Aufwärtstrends. Die Bevölkerungsreihen weisen einen Abwärtstrend für Altersgruppen unter 50 Jahren auf; und haben einen Aufwärtstrend für die über 54-Jährigen. Mehrere Wunder:
- Wie wird dieses Bild im nächsten Jahr aussehen, im Jahr danach und so weiter?
- Wie lässt sich der Cutoff bei der 50-54-Gruppe erklären? Und wie sind die gegensätzlichen Trends zwischen NL und Bevölkerung für jüngere Altersgruppen zu interpretieren, aber die gleichen Trends zwischen ihnen für ältere Altersgruppen.
- Was versuchen die Wackeln am Ende der NL-Serie zu sagen? Sie sehen für mich interessant aus.
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenIm Folgenden werden die Daten aus einem anderen Blickwinkel betrachtet.
In der obersten Reihe ist jeder Rahmen ein Diagramm von NL vs. Altersgruppen über Jahre.
In der unteren Reihe ist jeder Rahmen ein Diagramm der Bevölkerung vs. Altersgruppen über Jahre.
Für mich bietet diese Handlung konsistentere Perspektiven darüber, was sich ändert und was sich nicht ändert.
Und wenn ich mir die 21 Frames auf der Oberseite als Ganzes anschaue und sie nacheinander in einen einzigen Frame setze, erinnert mich das an die berühmten Flugpassagierdaten, für die ein saisonales ARIMA-Modell bekannt ist.
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenNochmals vielen Dank Peng. Ich fange an, das viel besser zu verstehen, aber eine Sache verwirrt mich immer noch. Wenn ich Ihre hochgeladene Datei mit der geänderten Tabelle verwende, kann ich Ihre Ergebnisse nicht reproduzieren, es sei denn, ich ändere das Skript direkt und führe das Skript aus. Ich denke, der Grund könnte entweder auf einen potenziellen Fehler zurückzuführen sein (der möglicherweise behoben wurde - ich verwende derzeit JMP 15, werde aber bald auf 17 aktualisieren) oder ich mache etwas ziemlich Dummes. Aber wenn Sie sich den beigefügten Screenshot ansehen, sind die oberen Kästchen ausgegraut. Und egal was ich tue, ich kann keinen Lag eingeben, es sei denn, ich ändere ihn direkt im Skript. Auch hier wäre Ihre Hilfe sehr willkommen.
Mit freundlichen Grüßen,
Greg
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenKontaktieren Sie bitte support@jmp.com , @GregMcMahon
Ich kann mich nicht erinnern, ob dies ein Problem war. Ich kann es in JMP15 oder JMP14 nicht reproduzieren. Sieht so aus, als ob die Anzeige nicht synchron ist, die Zahleneditorfelder sind mit ihren Beschriftungen ausgerichtet. Sie sollten um eine Reihe nach oben gerückt sein.
Ich kann mir einen Grund vorstellen: die Spaltennamen. Neuere Versionen von JMP verwenden Doppelpunkt, Anführungszeichen, Name, Endanführungszeichen und "n", um Spalten mit ungewöhnlichen Zeichen wie Bindestrichen zu kennzeichnen.
Ältere Versionen von JMP verwenden einen Namensfunktionsaufruf
Ich bin mir nicht sicher, wie Sie das Skript geändert haben, aber ich stelle mir vor, dass Sie sowohl Skript- als auch Spaltennamen in der Datentabelle ändern müssen, damit es auf älteren Versionen ausgeführt werden kann. Ich füge eine aktualisierte Datentabelle für ältere Versionen bei. Wenn diese Version funktioniert, bin ich mir ziemlich sicher, dass das Problem auf den Spaltennamen zurückzuführen ist. Aber wenn Sie Zweifel haben, wenden Sie sich bitte an den technischen Support. Ich schätze es.
Nachdem Sie eine neuere Version erhalten haben, sollten Sie sich außerdem die Box-Cox-Transformationsfunktion ansehen, die in einer kürzlich erschienenen Version hinzugefügt wurde.
Sehen Zeitreihe starten
Ich kann ein plausibles saisonales ARIMA (1,0,1)(1,1,0)19-Modell mit Lambda = 0,2174 anpassen
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenNochmals vielen Dank Peng. Es half nicht, also schrieb ich eine lange Nachricht mit Anhängen an den Support. Ich werde Sie auf dem Laufenden halten, wenn ich mehr höre.
Mit freundlichen Grüßen,
Greg
Betreff: Zeitreihenprognose mit zwei korrelierten VariablenAktualisierung für Sie @GregMcMahon - Das von Ihnen gemeldete Problem wurde an JMP Development gesendet und in der nächsten Hauptversion von JMP ( JMP 18 ) behoben. Wir wissen es zu schätzen, dass Sie sich die Zeit genommen haben, das Problem ausführlich zu melden. Es half, die richtige Lösung zu identifizieren und zu finden.
Zeitreihenvorhersage mit zwei korrelierten VariablenIch bin sicher, dass es eine Möglichkeit gibt, dies entweder in „Modell anpassen“, „Zeitreihenanalyse“ oder „Zeitreihenprognose“ zu tun. Ich habe zwei Zeitreihen, die nach Altersgruppen gruppiert sind. Die Spalten umfassen Bevölkerung und Gesundheitsausgaben. Ich kann mit den einzelnen Daten problemlos Prognosemodelle erstellen. Aber ich habe einen Bevölkerungsboom in der Altersgruppe der 40- bis 60-Jährigen. Wenn sie also in die Altersgruppe der 70- bis 80-Jährigen übergehen, wird dies zu einem Anstieg der Belastung durch die Gesundheitsversorgung führen, die nicht erfasst werden kann, wenn ich das einfach tue Prognose auf der Ausgabenspalte selbst.
Vielen Dank für jeden Rat und allen da draußen ein frohes neues Jahr!
Am besten,
Gregor
Erweiterte statistische Modellierung
