Re : Prévision de séries chronologiques avec deux variables corréléesQuelques questions de clarification et je vais offrir quelques suggestions:
1. Essayez-vous de prévoir les dépenses totales pour le groupe ou par habitant ?
2. Avez-vous des données historiques pour les x et y en tant que groupe âgés de 40 à 60 ans à 70 à 80 ans ?
3. Essayez-vous de construire un modèle prédictif ou un modèle explicatif ?
Et une pensée de modélisation ... avec des variables x groupées comme celle-ci alors que je ne conteste pas l'utilisation de Fit Model, ou l'une des options de modélisation de séries chronologiques pourrait être utile ... Je pense à l'une des méthodes de modélisation non linéaire comme La partition pourrait également être utile ? Je suis toujours partisan d'essayer de nombreuses méthodes de modélisation apparemment disparates et de voir laquelle fonctionne le mieux pour le problème pratique à résoudre.
Re : Prévision de séries chronologiques avec deux variables corréléesMerci d'avoir répondu !
(a) Les dépenses totales pour le groupe sont ce que je recherche (bien que par habitant dans chaque tranche d'âge serait également utile)
(b) J'ai toutes les données historiques - mais ce qui rend les choses un peu plus délicates, c'est qu'aux jeunes adultes, le fardeau des soins de santé est plutôt plat entre ces tranches. Mais au-delà de 65-70, il augmente plutôt de façon exponentielle. Ainsi, lorsque ce pic de population atteindra cette tranche d'âge, les dépenses totales augmenteront considérablement.
(c) Prédictif - essayer d'estimer les coûts futurs des soins de santé
En ce qui concerne le non-linéaire - les données historiques dont je dispose ne remontent qu'à 20 ans (donc 20 lignes), donc je ne pense pas que mon ensemble soit assez grand pour gérer la retenue des données pour la validation des modèles non linéaires
Merci!
Re : Prévision de séries chronologiques avec deux variables corréléesOK... voici mes idées farfelues mais j'espère que d'autres s'y mettront. Si je comprends bien la nature des données que vous avez recueillies, vous pouvez calculer sur une base par habitant les dépenses des groupes d'âge dans la partie « fixe » de la réponse... puis regardez chaque groupe avancer au fil des ans et calculer leur par dépenses par habitant au-delà de 65 à 70 ans... et si vous êtes prêt à extrapoler les dépenses par habitant pour les années du baby-boom, vous pouvez vous frayer un chemin jusqu'aux dépenses totales en multipliant par habitant par la population totale estimée. Si cela a un sens?
De toute évidence, les prévisions à long terme comme celle-ci sont pleines d'inconnues. Nouvelles avancées/normes en matière de soins. Une «cause spéciale» comme COVID, ou des différences de population à long terme entre les populations. Par exemple... Je parie que le pourcentage de personnes qui fumaient depuis longtemps dans les groupes d'âge de plus de 70 ans il y a 20 ans est beaucoup plus élevé qu'il ne l'est aujourd'hui. Ou Dieu ne plaise au gouvernement américain de faire quelque chose de drastique comme des changements structurels massifs aux programmes sociaux comme Medicare qui influenceraient beaucoup ce qui est payé et qui est payé combien dans le système de santé américain.
J'ai toujours aimé travailler sur des problèmes comme celui-ci pendant mon temps dans l'industrie... Je faisais partie d'un groupe financier chez un ancien employeur où nous faisions des prévisions à long terme pour des phénomènes macroéconomiques comme l'emploi, les revenus, les recettes fiscales, etc. Si jamais il y a eu un domaine où la célèbre citation de George Box, "Tous les modèles sont faux... certains sont utiles..." des domaines d'application comme celui-ci sont les enfants de l'affiche.
Re : Prévision de séries chronologiques avec deux variables corréléesJe vais ajouter un "mauvais" modèle à ce que @P_Bartell a dit.
Il existe un type de modèle dans la plate-forme Time Series, connu sous le nom de "modèle de fonction de transfert". Il modélise une série temporelle de réponse en fonction d'une ou plusieurs séries temporelles d'entrée. Dans votre exemple, "dépenses" ressemble à une série chronologique de réponse, et "population" ressemble à une série chronologique d'entrée.
Consultez ces deux ressources qui pourraient être utiles : Documentation et une conversation .
Pour moi, ce que vous entendez par "séries chronologiques regroupées par tranche d'âge" n'est pas clair. Avez-vous plusieurs séries annuelles de « dépenses » pour des groupes d'âge individuels. C'est-à-dire que vous avez des dépenses annuelles pour le groupe d'âge de 60 ans, indépendamment des 59 ans qui déménagent et des 69 qui déménagent chaque année. Et ainsi de suite pour le groupe d'âge de 50 ans, etc. Et pendant ce temps, vous avez le décompte de la population du groupe d'âge de 60 ans chaque année. Et le décompte n'est pas sur la même cohorte, puisque 59 emménagent et 69 déménagent. Si ce que j'ai décrit est le cas, vous avez pas mal de séries.
Ou peut-être que votre série "dépenses" n'est pas ventilée par âge. Ensuite, vous avez une série de réponses et plusieurs séries d'entrées. pas une série d'entrée comme vous l'avez dit. Dans ce cas, "Transfer Function Model" a plusieurs séries d'entrées. Dans cette configuration, un modèle de fonction de transfert peut modéliser la réponse à tout moment sous la forme d'une somme pondérée des entrées actuelles et/ou précédentes et/ou de la réponse passée.
Une fois que vous avez le modèle, vous devez prévoir vos séries d'entrée et les réinjecter dans le modèle pour prévoir la réponse plus loin dans le futur. Et la prévision des séries d'entrées est une question distincte. Dans ce cas, prévoir la population par groupe d'âge est en soi un défi. La répartition des groupes d'âge a beaucoup changé au cours des dernières décennies.
La dernière pièce manquante possible pour ce modèle est la série économique comme @P_Bartell mentionné. Vous voudrez peut-être envisager d'ajouter ces séries en tant qu'entrées supplémentaires. Par exemple, l'inflation, les macros, etc.
Re : Prévision de séries chronologiques avec deux variables corréléesMerci beaucoup à vous deux pour toutes vos suggestions et toutes les choses que je dois considérer. Pour aider à clarifier, j'ai téléchargé la table jmp. Et oui, il y a tellement de facteurs à prendre en compte pour le modèle - dans le cadre de cet exercice, j'essaie simplement d'en faire un modèle "moins pire". En y réfléchissant, et peut-être pour aider à simplifier les choses, l'idée que Peng a suggérée comme ayant une série de réponses (dans ce cas, le total NL qui représente les dépenses totales - toutes les colonnes avant cela divisent ce chiffre par tranche d'âge). Les 20 colonnes suivantes environ sont la population en tranches d'âge et le total). Les colonnes qui suivent ne sont pas vraiment nécessaires. Je suppose que pour commencer ma première question serait, après avoir lu et regardé la documentation et la vidéo ci-dessus, que signifie vraiment la "Liste d'entrée" dans la fenêtre de lancement et en quoi diffère-t-elle de la sélection de "Fonction de transfert" dans le menu déroulant du triangle rouge , comme je le vois quand je mets aveuglément une colonne dans la "Liste d'entrée", la sortie est intitulée "Fonction de transfert". Je n'ai pas trouvé d'exemple d'utilisation de la "liste d'entrée" dans l'aide ou les vidéos, bien que cela semble potentiellement applicable à ce problème.
Merci encore!
Meilleur,
Greg
Re : Prévision de séries chronologiques avec deux variables corréléesAvez-vous JMP Pro ? Si c'est le cas, vous pourriez probablement utiliser l'explorateur de données fonctionnelles (FDE) pour créer des modèles qui pourraient être utilisés pour faire des prédictions. Dans le tableau ci-joint, j'ai empilé les données (seulement conservé les colonnes NL et Population ; je n'ai pas conservé les colonnes HC Expense et Canada). La capture d'écran ci-dessous montre des modèles de dépenses adaptés à chacun des groupes d'âge, en utilisant la population comme fréquence de pondération. Je ne suis pas sûr que ce soit exactement ce que vous recherchez, mais il existe de nombreuses façons de modéliser dans la plate-forme FDE. Voici un lien ou alors deux au matériel pertinent sur FDE.
Re : Prévision de séries chronologiques avec deux variables corréléesVos données sont intrigantes. Je vais ramasser quelques choses et parler en détails.
Tout d'abord, le modèle de fonction de transfert. Il s'agit d'une riche classe de modèles. Et vous voudrez peut-être consulter la Bible sur le sujet Analyse des séries chronologiques, par George EP Box, Gwilym M. Jenkins, Gregory C. Reinsel. J'inclurai une version d'introduction utilisant un sous-ensemble de vos données ; ci-joint.
Le sous-ensemble est le groupe d'âge 75-79 ans. Il a un script intégré, qui s'adapte à un tas de modèles de fonction de transfert. Exécuter. Et vous devriez voir le tableau suivant. Utilisez la case à cocher pour afficher le rapport un par un. Et je vais vous expliquer ce qu'ils sont. (BTW, j'ai mis à l'échelle les données. Si j'utilise les données d'origine, l'algorithme a des problèmes dans certains cas en raison de valeurs extrêmes.)
Le premier modèle, regardez l'image de la formule. Il indique que Scaled NL au temps t est une interception, plus une valeur pondérée de Scaled Population au temps t, plus une erreur. Il ne s'agit donc que d'une simple régression linéaire. On peut utiliser la plateforme Fit Y by X et obtenir le même résultat.
Mais regardez le tracé résiduel ci-dessous. Cela indique qu'il existe encore des schémas inexpliqués.
Maintenant, affichez le deuxième modèle et regardez la formule et le résidu.
La formule ressemble toujours à une régression. Mais l'indice sur la population mise à l'échelle est t-1. Ce modèle indique que Scaled NL au temps t est la somme d'une constante, d'une valeur pondérée de Scaled Population au temps précédent t-1 et d'une erreur. Ainsi, ce modèle ne sera pas facilement adapté à Fit Y by X sans un arrangement de données. Quoi qu'il en soit, ce n'est toujours pas un bon modèle, selon les résidus.
Maintenant, affichez le troisième modèle :
Sa partie principale est la même que le premier modèle, une simple régression, mais le terme d'erreur semble compliqué. Au fur et à mesure que vous vous familiariserez avec la notation, vous reconnaîtrez que la notation signifie : NL mis à l'échelle au temps t implique sa valeur passée au temps t-1. En résumé, ce modèle dit : Scaled NL au temps t est la somme d'une constante, d'une Scaled Population pondérée au temps t, d'un Scaled NL pondéré au temps t-1 et d'un terme d'erreur. Nous avons donc des modèles plus compliqués. Et regardez le tracé résiduel, il y a moins de modèles évidents.
Le 4e modèle est similaire, mais utilise la population à l'échelle décalée. Le modèle dit : Scaled NL à l'instant t est la somme d'une constante, d'une Scaled Population pondérée à l'instant t-1 , un Scaled NL pondéré au temps t-1 et un terme d'erreur.
Les 5ème et 6ème modèles deviennent plus compliqués, mais inutiles. Mais je les laisse là pour vous donner une idée de la complexité des choses. Et ces exemples sont encore considérablement simples.
Ainsi, en résumé, le modèle de fonction de transfert peut être aussi simple qu'une simple régression linéaire, ou plus compliqué en représentant la réponse comme une somme apparemment alambiquée de valeurs historiques (et/ou actuelles pour les entrées) de réponses et de valeurs de séries d'entrée.
Et il semble qu'il y ait au moins un modèle qui corresponde bien au sous-ensemble. Permettez-moi d'utiliser le troisième modèle. Et regardez la partie "Prévisions interactives".
Les marqueurs en surbrillance sont déplaçables. Ils devraient s'expliquer d'eux-mêmes si vous les déplacez. Mais pour souligner, les marqueurs dans le cadre inférieur représentent les futures valeurs de série d'entrée. Si vous pouvez prévoir les futures valeurs d'entrée, vous devez placer les marqueurs aux endroits souhaités, et le cadre de sortie en haut doit montrer à quoi ressemble la prévision sur la série de réponses. Les valeurs d'entrée futures peuvent être importées d'autres manières, ce que je ne vais pas développer (il y a un bouton au-dessus du tracé indiquant son but pour cela.)
Ce qui précède est donc un exemple d'utilisation du modèle de fonction de transfert pour analyser et prévoir un sous-ensemble de vos données. Mais cela n'a-t-il pas de sens? Pour moi, je ne suis pas sûr. Vos données sont assez rick. Le modèle correspond bien à ce sous-ensemble. Mais cela ne correspond pas bien à tous les sous-ensembles. Et je vous laisse conclure.
J'ai fait un graphique pour résumer à quoi ressemblent vos données par groupes d'âge. Les lignes bleues sont des séries NL par groupes d'âge. Et les lignes rouges correspondent aux séries de population correspondantes. Toutes les séries NL ont des tendances à la hausse. La série Population a une tendance à la baisse pour les groupes d'âge de moins de 50 ans ; et ont une tendance à la hausse pour les personnes de plus de 54 ans. Plusieurs merveilles :
- À quoi ressemblera cette image l'année prochaine, l'année d'après, et ainsi de suite ?
- Comment expliquer la coupure au groupe 50-54 ? Et comment interpréter les tendances opposées entre NL et Population pour les groupes d'âge plus jeunes, mais les mêmes tendances entre eux pour les groupes d'âge plus âgés.
- Qu'est-ce que les tremblements à la fin de la série NL essaient de dire? Ils m'ont l'air intéressants.
Re : Prévision de séries chronologiques avec deux variables corréléesCe qui suit examine les données sous un angle différent.
Sur la rangée du haut, chaque cadre est un graphique de NL par rapport aux groupes d'âge, au fil des ans.
Sur la rangée du bas, chaque cadre est un graphique de la population par rapport aux groupes d'âge, au fil des ans.
Pour moi, cette intrigue offre des perspectives plus cohérentes sur ce qui change et ce qui ne change pas.
Et si je regarde les 21 images du haut dans leur ensemble, et que je les mets dans une seule image consécutivement, cela me rappelle les fameuses données sur les passagers des compagnies aériennes, pour lesquelles un modèle ARIMA saisonnier est bien connu.
Re : Prévision de séries chronologiques avec deux variables corréléesMerci encore beaucoup Peng. Je commence à mieux comprendre mais une chose m'intrigue encore. En utilisant votre fichier téléchargé avec la table modifiée, je ne peux pas reproduire vos résultats à moins de modifier directement le script et d'exécuter le script. Je pense que la raison peut être due soit à un bogue potentiel (qui a peut-être été résolu - j'utilise actuellement JMP 15 mais je passerai bientôt à 17) ou je fais quelque chose d'assez stupide. Mais si vous regardez la capture d'écran ci-jointe, les cases du haut sont grisées. Et peu importe ce que je fais, je ne peux pas entrer de décalage à moins de le changer directement dans le script. Encore une fois votre aide serait grandement appréciée.
Cordialement,
Greg
Re : Prévision de séries chronologiques avec deux variables corréléesS'il vous plaît contactez support@jmp.com , @GregMcMahon
Je ne me souviens pas si c'était un problème. Je n'arrive pas à le reproduire en JMP15 ou JMP14. On dirait que l'affichage est désynchronisé, les cases de l'éditeur de nombres sont alignées avec leurs étiquettes. Ils auraient dû remonter d'une ligne.
Je peux penser à une raison : les noms de colonnes. Les versions récentes de JMP utilisent les deux-points, les guillemets, le nom, les guillemets finaux, "n" pour désigner les colonnes avec des caractères inhabituels comme un tiret.
Les anciennes versions de JMP utilisent un appel de fonction Name
Je ne sais pas comment vous avez modifié le script, mais j'imagine que vous devez modifier à la fois les noms de script et de colonne dans la table de données pour le faire fonctionner sur des versions plus anciennes. Je joins un tableau de données mis à jour pour l'ancienne version. Si cette version fonctionne, alors je suis presque sûr que le problème était dû au nom de la colonne. Mais si vous avez le moindre doute, veuillez contacter le support technique. Je vous en suis reconnaissant.
De plus, après avoir obtenu une version plus récente, vous souhaitez vérifier la fonctionnalité de transformation Box-Cox ajoutée dans une version récente.
Voir Lancer la série chronologique
Je suis capable d'adapter un modèle ARIMA saisonnier plausible (1,0,1)(1,1,0)19 avec lambda = 0,2174
Re : Prévision de séries chronologiques avec deux variables corréléesMerci encore Peng. Cela n'a pas aidé alors j'ai écrit un long message avec des pièces jointes à l'appui. Je vous tiendrai au courant dès que j'en entendrai plus.
Cordialement,
Greg
Re : Prévision de séries chronologiques avec deux variables corréléesMise à jour pour vous @GregMcMahon - le problème que vous avez signalé a été envoyé à JMP Development et un correctif a été apporté à la prochaine version majeure de JMP ( JMP 18 ). Nous apprécions que vous preniez le temps de signaler le problème en détail ; cela a aidé à identifier et à trouver la bonne solution.
Prévision de séries chronologiques avec deux variables corréléesJe suis sûr qu'il existe un moyen de le faire dans Fit Model, Time Series Analysis ou Time Series Forecast. J'ai deux séries chronologiques regroupées par tranche d'âge. Les colonnes sont la population et les dépenses de santé. Je peux faire des modèles de prévision sans problème avec les données individuellement. Mais, j'ai un boom démographique dans la tranche d'âge 40-60 ans, donc quand ils deviendront la tranche d'âge 70-80 ans, ils entraîneront une augmentation du fardeau des soins de santé qui ne sera pas capturé si je fais juste le prévisions sur la colonne des dépenses elle-même.
Merci pour vos conseils et bonne année à tous !
Meilleur,
Greg
Modélisation statistique avancée
