Re: Previsione di serie temporali con due variabili correlateAlcune domande chiarificatrici e offrirò alcuni suggerimenti:
1. Stai cercando di prevedere la spesa totale per il gruppo o pro capite?
2. Disponi di dati storici per le x e le y come gruppo di età compresa tra 40 - 60, 70 e 80 anni?
3. Stai cercando di mettere insieme un modello predittivo o un modello esplicativo?
E un pensiero di modellazione ... con variabili x raggruppate come questa mentre non discuto l'utilizzo di Fit Model, o una qualsiasi delle opzioni di modellazione di serie temporali potrebbe essere preziosa ... sto pensando a uno dei metodi di modellazione non lineare come Anche la partizione potrebbe essere utile? Sono sempre un sostenitore del provare molti metodi di modellazione apparentemente disparati e vedere quale funziona meglio per il problema pratico a portata di mano.
Oggetto: Previsione di serie temporali con due variabili correlateGrazie per aver risposto!
(a) La spesa totale per il gruppo è quello che sto cercando (anche se sarebbe utile anche pro capite all'interno di ogni fascia di età)
(b) Ho tutti i dati storici, ma ciò che lo rende un po' più complicato è che all'età degli adulti più giovani, l'onere per l'assistenza sanitaria è piuttosto piatto in quelle fasce. Ma oltre 65-70, aumenta in modo piuttosto esponenziale. Quindi, quando quel picco di popolazione raggiunge quella fascia di età, la spesa totale aumenterà notevolmente.
(c) Predittivo: tentativo di stimare i costi futuri per l'assistenza sanitaria
Per quanto riguarda il non lineare, i dati storici che ho risalgono solo a 20 anni (quindi 20 righe), quindi non penso che il mio set sia abbastanza grande da gestire i dati trattenuti per la convalida per i modelli non lineari
Grazie!
Oggetto: Previsione di serie temporali con due variabili correlateOK ... ecco le mie idee stravaganti ma spero che altri intervengano. Se capisco la natura dei dati che hai raccolto, puoi calcolare su base pro capite la spesa dei gruppi di età nella parte "piatta" della risposta ... quindi osserva ogni gruppo avanzare negli anni e calcolare il loro per spese pro capite oltre i 65 - 70... e se sei disposto a estrapolare le spese pro capite per gli anni del baby boom, puoi risalire alle spese totali moltiplicando pro capite per la popolazione totale stimata. Se questo ha un senso?
Ovviamente previsioni a lungo raggio come questa sono piene di incognite. Nuovi progressi/standard nella cura. Una "causa speciale" come COVID, o differenze da popolazione a lungo termine a popolazione. Ad esempio... Scommetto che la percentuale di persone che fumavano da molto tempo nelle fasce di età oltre i 70 anni 20 anni fa è molto più alta di quanto non sia oggi. O il cielo non voglia che il governo degli Stati Uniti faccia qualcosa di drastico come massicci cambiamenti strutturali ai programmi sociali come Medicare che influenzerebbero moltissimo cosa e chi viene pagato quanto nel sistema sanitario statunitense.
Mi è sempre piaciuto lavorare su problemi come questo durante il mio periodo nell'industria...facevo parte di un gruppo finanziario presso un ex datore di lavoro dove facevamo previsioni a lungo termine per fenomeni macroeconomici come occupazione, reddito, entrate fiscali, ecc. Se mai c'è stata un'area in cui la famosa citazione di George Box, "Tutti i modelli sono sbagliati...alcuni sono utili..." aree di applicazione come questa sono i poster children.
Re: Previsione di serie temporali con due variabili correlateAggiungerò un modello "sbagliato" a cosa @P_Bartell ha detto.
Esiste un tipo di modello nella piattaforma Time Series, noto come "Transfer Function Model". Modella una serie temporale di risposta in funzione di una o più serie temporali di input. Nel tuo esempio, "spesa" sembra una serie temporale di risposta e "popolazione" sembra una serie temporale di input.
Dai un'occhiata a queste due risorse che potrebbero esserti utili: documentazione e una chiacchierata .
A me non è chiaro cosa intendi per "serie storiche raggruppate per fascia di età". Avete più serie annuali di "spese" per singole fasce d'età. Cioè hai una spesa annuale per la fascia di età di 60 anni, indipendentemente dal fatto che i 59 anni si trasferiscano e i 69 si trasferiscano ogni anno. E così via per la fascia di età di 50 anni, ecc. E nel frattempo, hai un conteggio della popolazione di una fascia di età di 60 anni ogni anno. E il conteggio non è sulla stessa coorte, dal momento che 59 stanno entrando e 69 stanno uscendo. Se quello che ho descritto è il caso, hai un bel po' di serie.
O forse, la tua serie di "spese" non è suddivisa per età. Quindi hai una serie di risposte e più serie di input. non una serie di input come hai detto. In questo caso, "Transfer Function Model" ha più serie di input. In questa configurazione, un modello della funzione di trasferimento può modellare la risposta in qualsiasi momento come una somma ponderata degli input attuali e/o precedenti e/o della risposta passata.
Dopo aver ottenuto il modello, è necessario prevedere le serie di input e inserire il feedback nel modello per prevedere ulteriormente la risposta nel futuro. E la previsione delle serie di input è un problema separato. In questo caso, la previsione della popolazione per fascia di età è di per sé una sfida. La distribuzione dei gruppi di età è cambiata parecchio negli ultimi decenni.
L'ultimo possibile tassello mancante per questo modello è la serie economica as @P_Bartell menzionato. Potresti prendere in considerazione l'aggiunta di quelle serie come input aggiuntivi. Ad esempio inflazione, macro, ecc.
Oggetto: Previsione di serie temporali con due variabili correlateGrazie mille a entrambi per tutti i vostri suggerimenti e per tutte le cose che devo considerare. Per aiutare a chiarire, ho caricato la tabella jmp. E sì, ci sono così tanti fattori da considerare per il modello - ai fini di questo esercizio, sto solo cercando di renderlo un modello "meno peggiore". Mentre ci penso, e forse per aiutare a semplificare le cose, l'idea suggerita da Peng di avere una serie di risposte (in questo caso totale NL che rappresenta le spese totali - tutte le colonne precedenti suddividono quella cifra per fascia di età). Le seguenti 20 colonne circa sono la popolazione in fasce di età e totale). Le colonne successive non sono realmente necessarie. Immagino che per iniziare la mia prima domanda sarebbe, dopo aver letto e visto la documentazione e il video sopra, cosa significa veramente "Elenco input" nella finestra di avvio e in cosa differisce dalla selezione "Funzione di trasferimento" dal menu a discesa del triangolo rosso , come vedo quando inserisco ciecamente una colonna nella "Lista di input", l'output è intitolato "Funzione di trasferimento". Non sono riuscito a trovare un esempio di come "Input list" viene utilizzato in nessuno degli aiuti o dei video, anche se sembra potenzialmente applicabile a questo problema.
Grazie ancora!
Migliore,
Greg
Oggetto: Previsione di serie temporali con due variabili correlateHai JMP Pro? In tal caso, potresti probabilmente utilizzare Functional Data Explorer (FDE) per creare modelli che potrebbero essere utilizzati per fare previsioni. Nella tabella allegata, ho impilato i dati (mantenuto solo le colonne NL e Population; non ho mantenuto le colonne HC Expense e Canada). La schermata seguente mostra i modelli per le spese adatte a ciascuno dei gruppi di età, utilizzando la popolazione come frequenza per la ponderazione. Non sono sicuro che sia esattamente quello che stai cercando, ma ci sono molti modi diversi per modellare nella piattaforma FDE. Ecco un collegamento o Due al materiale pertinente su FDE.
Re: Previsione di serie temporali con due variabili correlateI tuoi dati sono intriganti. Prenderò un paio di cose e parlerò in dettaglio.
Innanzitutto, il modello della funzione di trasferimento. Questa è una ricca classe di modelli. E potresti voler controllare la Bibbia sull'argomento Time Series Analysis, di George EP Box, Gwilym M. Jenkins, Gregory C. Reinsel. Includerò una versione introduttiva utilizzando un sottoinsieme dei tuoi dati; Allegata.
Il sottoinsieme è il gruppo di età 75-79. Ha uno script incorporato, che si adatta a un gruppo di modelli di funzioni di trasferimento. Eseguirlo. E dovresti vedere la seguente tabella. Utilizzare la casella di controllo per visualizzare i report uno per uno. E ti spiego cosa sono. (A proposito, ho ridimensionato i dati. Se utilizzo i dati originali, l'algoritmo ha problemi in alcuni casi a causa di valori estremi.)
Il primo modello, guarda l'immagine della formula. Dice che Scaled NL all'istante t è un'intercetta, più un valore ponderato di Scaled Population all'istante t, più un errore. Quindi questa è solo una semplice regressione lineare. Si può usare la piattaforma Fit Y by X e ottenere lo stesso risultato.
Ma guarda la trama residua qui sotto. Indica che ci sono ancora schemi inspiegabili.
Ora apri il secondo modello e guarda la formula e il residuo.
La formula sembra ancora una regressione. Ma il pedice su Scaled Population è t-1. Questo modello afferma che Scaled NL all'istante t è la somma di una costante, un valore ponderato di Scaled Population all'istante precedente t-1 e un errore. Quindi questo modello non si adatterà facilmente a Fit Y by X senza una disposizione dei dati. Comunque, questo non è ancora un buon modello, secondo i residui.
Ora mostra il terzo modello:
La sua parte principale è la stessa del primo modello, una semplice regressione, ma il termine di errore sembra complicato. Man mano che acquisisci familiarità con la notazione, riconoscerai che la notazione significa: NL scalato all'istante t implica il suo valore passato all'istante t-1. In sintesi, questo modello dice: Scaled NL al tempo t è la somma di una costante, una Scaled Population ponderata al tempo t, una Scaled NL ponderata al tempo t-1 e un termine di errore. Quindi abbiamo modelli più complicati. E guarda la trama residua, ci sono meno schemi evidenti.
Il quarto modello è simile, ma utilizzava la popolazione in scala ritardata. Il modello dice: NL scalato al tempo t è la somma di una costante, una popolazione scalata ponderata al tempo t-1 , un NL scalato ponderato al tempo t-1 e un termine di errore.
Il 5° e il 6° modello diventano più complicati, ma non necessari. Ma li lascio lì per darti un'idea di quanto possano complicarsi le cose. E questi esempi sono ancora considerevolmente semplici.
Quindi, in sintesi, il modello della funzione di trasferimento può essere semplice come una semplice regressione lineare o più complicato rappresentando la risposta come una somma apparentemente contorta di valori storici (e/o attuali per gli input) dei valori della risposta e delle serie di input.
E sembra che almeno un modello si adatti bene al sottoinsieme. Fammi usare il terzo modello. E guarda la parte "Previsione interattiva".
I marcatori evidenziati sono trascinabili. Dovrebbero essere autoesplicativi se li sposti. Ma per enfatizzare, i marcatori nel frame inferiore rappresentano i futuri valori della serie di input. Se puoi prevedere i valori di input futuri, dovresti posizionare i marcatori nei punti desiderati e il frame di output in alto dovrebbe mostrare l'aspetto della previsione sulla serie di risposte. I futuri valori di input possono essere importati in altri modi, cosa che non elaborerò (c'è un pulsante sopra la trama che ne indica lo scopo).
Quindi quanto sopra è un esempio dell'utilizzo del modello della funzione di trasferimento per analizzare e prevedere un sottoinsieme dei tuoi dati. Ma non ha senso? Per me, non sono sicuro. I tuoi dati sono piuttosto rick. Il modello si adatta bene a questo sottoinsieme. Ma non si adatta bene a tutti i sottoinsiemi. E lascio a te la conclusione.
Ho fatto una trama per riassumere l'aspetto dei tuoi dati per gruppi di età. Le linee blu sono serie NL per gruppi di età. E le linee rosse corrispondono alle serie Popolazione. Tutte le serie NL hanno tendenze al rialzo. Le serie Popolazione hanno una tendenza al ribasso per le fasce di età inferiori ai 50 anni; e hanno una tendenza al rialzo per quelli di età superiore ai 54 anni. Diverse meraviglie:
- Come sarà questa foto l'anno prossimo, l'anno dopo e così via?
- Come spiegare il taglio al gruppo 50-54? E come interpretare le tendenze opposte tra BN e Popolazione per le fasce di età più giovani, ma le stesse tendenze tra di loro per le fasce di età più anziane.
- Cosa cercano di raccontare le oscillazioni alla fine della serie NL? Mi sembrano interessanti.
Oggetto: Previsione di serie temporali con due variabili correlateQuanto segue esamina i dati da una diversa angolazione.
Nella riga superiore, ogni fotogramma è un grafico di NL rispetto ai gruppi di età, nel corso degli anni.
Nella riga inferiore, ogni fotogramma è un grafico della popolazione rispetto ai gruppi di età, nel corso degli anni.
Per me, questa trama fornisce prospettive più coerenti su ciò che sta cambiando e ciò che non sta cambiando.
E se guardo i 21 fotogrammi in alto nel loro insieme e li inserisco in un singolo fotogramma consecutivamente, mi vengono in mente i famosi dati dei passeggeri delle compagnie aeree, per i quali è ben noto un modello ARIMA stagionale.
Oggetto: Previsione di serie temporali con due variabili correlateGrazie ancora mille Peng. Sto iniziando a capirlo molto meglio, ma una cosa mi sta ancora confondendo. Utilizzando il file caricato con la tabella modificata, non sono in grado di riprodurre i risultati a meno che non modifichi direttamente lo script ed esegua lo script. Penso che il motivo potrebbe essere dovuto a un potenziale bug (che potrebbe essere stato risolto - attualmente sto usando JMP 15 ma aggiornerò presto a 17) o sto facendo qualcosa di abbastanza stupido. Ma se guardi lo screenshot allegato, le caselle in alto sono disattivate. E qualunque cosa faccia, non posso inserire un ritardo a meno che non lo modifichi direttamente nello script. Ancora una volta il tuo aiuto sarebbe molto apprezzato.
Distinti saluti,
Greg
Oggetto: Previsione di serie temporali con due variabili correlateSi prega di contattare support@jmp.com , @GregMcMahon
Non ricordo se questo fosse un problema. Non sono in grado di riprodurlo in JMP15 o JMP14. Sembra che il display non sia sincronizzato, le caselle dell'editor dei numeri sono allineate con le loro etichette. Avrebbero dovuto salire di una riga.
Mi viene in mente una ragione: i nomi delle colonne. Le versioni recenti di JMP utilizzano i due punti, le virgolette, il nome, le virgolette finali, "n" per indicare le colonne con caratteri insoliti come il trattino.
Le versioni precedenti di JMP utilizzano una chiamata alla funzione Nome
Non sono sicuro di come hai modificato lo script, ma immagino che devi modificare sia i nomi degli script che quelli delle colonne nella tabella dei dati per farlo funzionare su versioni precedenti. Allego una tabella dati aggiornata per la versione precedente. Se questa versione funziona, sono abbastanza sicuro che il problema fosse dovuto al nome della colonna. Ma se hai qualche dubbio, contatta il supporto tecnico. Lo apprezzo.
Inoltre, dopo aver ottenuto una versione più recente, si desidera verificare la funzionalità di trasformazione Box-Cox aggiunta in una versione recente.
Vedere Avvia serie storiche
Sono in grado di adattare un modello ARIMA stagionale plausibile (1,0,1)(1,1,0)19 con lambda = 0,2174
Oggetto: Previsione di serie temporali con due variabili correlateMolte grazie ancora Peng. Non ha aiutato, quindi ho scritto un lungo messaggio con allegati per supportare. Vi terrò aggiornati man mano che ne saprò di più.
Distinti saluti,
Greg
Oggetto: Previsione di serie temporali con due variabili correlateAggiornamento per te @GregMcMahon - il problema segnalato è stato inviato a JMP Development ed è stata apportata una correzione nella successiva versione principale di JMP ( JMP 18 ). Ti ringraziamo per aver dedicato del tempo a segnalare il problema in dettaglio; ha aiutato a identificare e trovare la soluzione corretta.
Previsione di serie storiche con due variabili correlateSono sicuro che esiste un modo per farlo in Fit Model, Time Series Analysis o Time Series Forecast. Ho due serie temporali raggruppate per fascia di età. Le colonne sono la popolazione e la spesa sanitaria. Posso fare alcuni modelli di previsione senza problemi con i dati individualmente. Ma ho un boom demografico nella fascia di età 40-60 anni, quindi quando diventeranno la fascia di età 70-80 anni, causeranno un aumento del peso dell'assistenza sanitaria che non verrà catturato se faccio solo il previsione sulla colonna di spesa stessa.
Grazie per i consigli e buon anno nuovo a tutti là fuori!
Migliore,
Greg
Modellazione statistica avanzata
