Re: Pronóstico de series de tiempo con dos variables correlacionadasAlgunas preguntas aclaratorias y ofreceré algunas sugerencias:
1. ¿Está tratando de predecir el gasto total del grupo o per cápita?
2. ¿Tiene datos históricos para las x y las y como grupo que tiene edades de 40 a 60 a 70 a 80?
3. ¿Está tratando de armar un modelo predictivo o un modelo explicativo?
Y un pensamiento de modelado... con variables x agrupadas como esta, aunque no discuto el uso de Fit Model, o cualquiera de las opciones de modelado de series temporales podría ser valiosa... Estoy pensando en uno de los métodos de modelado no lineal como ¿La partición también podría ser útil? Siempre soy partidario de probar muchos métodos de modelado aparentemente dispares y ver cuál funciona mejor para el problema práctico en cuestión.
Re: Pronóstico de series de tiempo con dos variables correlacionadas¡Gracias por responder!
(a) El gasto total para el grupo es lo que busco (aunque también sería útil per cápita dentro de cada grupo de edad)
(b) Tengo todos los datos históricos, pero lo que lo hace un poco más complicado es que en las edades de los adultos más jóvenes, la carga sobre la atención de la salud es bastante uniforme en esos tramos. Pero más allá de 65-70, aumenta bastante exponencialmente. Entonces, cuando ese pico en la población llegue a ese grupo de edad, el gasto total aumentará dramáticamente.
(c) Predictivo: tratar de estimar los costos futuros de la atención médica
Con respecto a los no lineales, los datos históricos que tengo solo se remontan a 20 años (por lo tanto, 20 filas), por lo que no creo que mi conjunto sea lo suficientemente grande como para manejar la retención de datos para la validación de los modelos no lineales.
¡Gracias!
Re: Pronóstico de series de tiempo con dos variables correlacionadasBien... aquí están mis ideas extravagantes, pero espero que otros participen. Si entiendo la naturaleza de los datos que ha recopilado, puede calcular per cápita el gasto de los grupos de edad en la parte 'plana' de la respuesta... luego ver a cada grupo avanzar a través de los años y calcular su per gastos cápita más allá de 65 - 70... y si está dispuesto a extrapolar los gastos per cápita para los años de la generación del baby boom, puede llegar hasta los gastos totales multiplicando per cápita por la población total estimada. Si esto tiene algún sentido?
Obviamente, los pronósticos a largo plazo como este están llenos de incógnitas. Nuevos avances/estándares en el cuidado. Una 'causa especial' como COVID, o población a más largo plazo a diferencias de población. Por ejemplo... Apuesto a que el porcentaje de personas que fueron fumadores durante mucho tiempo en los grupos de más de 70 años hace 20 años es mucho mayor que en la actualidad. O el cielo no permita que el gobierno de EE. UU. haga algo drástico, como cambios estructurales masivos en programas sociales como Medicare, lo que influiría mucho en qué y a quién se le paga cuánto en el sistema de atención médica de EE. UU.
Siempre me gustó trabajar en problemas como este durante mi tiempo en la industria... Yo era parte de un grupo de finanzas en un antiguo empleador donde haríamos pronósticos a largo plazo para fenómenos macroeconómicos como empleo, ingresos, ingresos fiscales, etc. alguna vez hubo un área donde la famosa cita de George Box, "Todos los modelos están equivocados... algunos son útiles..." áreas de aplicación como esta son los niños del cartel.
Re: Pronóstico de series de tiempo con dos variables correlacionadasVoy a agregar un modelo "incorrecto" a lo que @P_Bartell ha dicho.
Existe un tipo de modelo en la plataforma de Series Temporales, conocido como "Modelo de Función de Transferencia". Modela una serie de tiempo de respuesta como una función de una o más series de tiempo de entrada. En su ejemplo, "gasto" parece una serie de tiempo de respuesta y "población" parece una serie de tiempo de entrada.
Echa un vistazo a estos dos recursos que pueden ser útiles: documentación y una charla .
Para mí, no está claro qué quiere decir con "series temporales agrupadas por grupo de edad". ¿Tiene múltiples series anuales de "gastos" para grupos de edad individuales? Es decir, tiene un gasto anual para el grupo de edad de 60 años, independientemente de que los 59 se muden y los 69 se muden cada año. Así sucesivamente para el grupo de edad de 50 años, etc. Y mientras tanto, tiene un recuento de población del grupo de edad de 60 años cada año. Y el conteo no está en la misma cohorte, ya que 59 se están mudando y 69 se están mudando. Si lo que describí es el caso, tienes bastantes series.
O tal vez, su serie de "gastos" no está dividida por edad. Entonces tienes una serie de respuesta y múltiples series de entrada. no una serie de entrada como dijiste. En este caso, el "Modelo de función de transferencia" tiene varias series de entrada. En esta configuración, un modelo de función de transferencia puede modelar la respuesta en cualquier momento como una suma ponderada de las entradas actuales y/o anteriores, y/o la respuesta pasada.
Una vez que tenga el modelo, debe pronosticar su serie de entrada y retroalimentar el modelo para pronosticar la respuesta en el futuro. Y la serie de entrada de pronóstico es un tema aparte. En este caso, pronosticar la población por grupos de edad es en sí mismo un desafío. La distribución de los grupos de edad cambió bastante en las últimas décadas.
La última posible pieza que falta para este modelo es la serie económica como @P_Bartell mencionado. Es posible que desee considerar agregar esas series como entradas adicionales. Por ejemplo, inflación, macros, etc.
Re: Pronóstico de series de tiempo con dos variables correlacionadasMuchas gracias a ambos por todas sus sugerencias y todas las cosas que necesito considerar. Para ayudar a aclarar, he subido la tabla jmp. Y sí, hay tantos factores a considerar para el modelo. Para el propósito de este ejercicio, solo estoy tratando de convertirlo en un modelo "menos peor". Mientras lo pienso, y tal vez para ayudar a simplificar las cosas, la idea que sugirió Peng es tener una serie de respuestas (en este caso, el total de NL que representa los gastos totales; todas las columnas antes de esa división se calculan por grupo de edad). Las siguientes 20 columnas más o menos son la población en tramos de edad y el total). Las columnas posteriores no son realmente necesarias. Supongo que para comenzar mi primera pregunta sería, después de leer y ver la documentación y el video anterior, ¿qué significa realmente la "Lista de entrada" en la ventana de inicio y en qué se diferencia de seleccionar "Función de transferencia" en el menú desplegable del triángulo rojo? , como veo cuando coloco ciegamente una columna en la "Lista de entrada", la salida se titula "Función de transferencia". No pude encontrar un ejemplo de cómo se usa la "Lista de entrada" en ninguno de los videos o ayuda, aunque parece potencialmente aplicable a este problema.
¡Gracias de nuevo!
Mejor,
greg
Re: Pronóstico de series de tiempo con dos variables correlacionadas¿Tienes JMP Pro? Si es así, probablemente podría usar el Explorador de datos funcionales (FDE) para hacer modelos que podrían usarse para hacer predicciones. En la tabla adjunta, apilé los datos (solo conservé las columnas NL y Población; no conservé las columnas Gasto HC y Canadá). La siguiente captura de pantalla muestra modelos de gastos que se ajustan a cada uno de los grupos de edad, utilizando la población como frecuencia para la ponderación. No estoy seguro de que eso sea exactamente lo que está buscando, pero hay muchas formas diferentes de modelar en la plataforma FDE. Aquí está un enlace o dos al material relevante sobre FDE.
Re: Pronóstico de series de tiempo con dos variables correlacionadasTus datos son intrigantes. Recogeré un par de cosas y hablaré en detalle.
Primero, modelo de función de transferencia. Esta es una rica clase de modelos. Y es posible que desee consultar la biblia sobre el tema. Análisis de series temporales, por George EP Box, Gwilym M. Jenkins, Gregory C. Reinsel. Incluiré una versión introductoria utilizando un subconjunto de sus datos; adjunto.
El subconjunto es el grupo de edad de 75 a 79 años. Tiene un script incrustado, que se ajusta a un montón de modelos de funciones de transferencia. Ejecutarlo. Y deberías ver la siguiente tabla. Utilice la casilla de verificación para mostrar el informe uno por uno. Y voy a explicar cuáles son. (Por cierto, escalé los datos. Si utilizo los datos originales, el algoritmo tiene problemas en algunos casos debido a los valores extremos).
El primer modelo, mira la imagen de la fórmula. Dice que Scaled NL en el momento t es una intersección, más un valor ponderado de Scaled Population en el momento t, más un error. Así que esto es solo una regresión lineal simple. Uno puede usar la plataforma Fit Y by X y obtener el mismo resultado.
Pero mira el gráfico residual a continuación. Indica que todavía hay patrones sin explicar.
Ahora muestre el segundo modelo y mire la fórmula y el residual.
La fórmula todavía parece una regresión. Pero el subíndice de Población escalada es t-1. Este modelo dice que Scaled NL en el tiempo t es la suma de una constante, un valor ponderado de Scaled Population en el tiempo anterior t-1 y un error. Por lo tanto, este modelo no se ajustará fácilmente a Fit Y by X sin algún arreglo de datos. De todos modos, este todavía no es un buen modelo, según residual.
Ahora abre el tercer modelo:
Su parte principal es la misma que la del primer modelo, una regresión simple, pero el término de error parece complicado. A medida que se familiarice con la notación, reconocerá que la notación significa: NL escalado en el tiempo t implica su valor pasado en el tiempo t-1. En resumen, este modelo dice: NL escalada en el tiempo t es la suma de una constante, una población escalada ponderada en el tiempo t, una NL escalada ponderada en el tiempo t-1 y un término de error. Así que estamos teniendo modelos más complicados. Y mira la trama residual, hay menos patrones obvios.
El cuarto modelo es similar, pero utilizó la población escalada rezagada. El modelo dice: NL escalada en el tiempo t es la suma de una Población escalada constante y ponderada en el tiempo t-1 , un NL escalado ponderado en el tiempo t-1 y un término de error.
Los modelos 5 y 6 se vuelven más complicados, pero innecesarios. Pero los dejo ahí para darles una idea de lo complicadas que pueden ser las cosas. Y estos ejemplos siguen siendo considerablemente simples.
Entonces, como resumen, el modelo de función de transferencia puede ser tan simple como una regresión lineal simple, o más complicado al representar la respuesta como una suma aparentemente intrincada de valores históricos (y/o actuales para entradas) de valores de serie de respuesta y entrada.
Y parece que hay al menos un modelo que se ajusta bien al subconjunto. Déjame usar el tercer modelo. Y mire la parte "Pronósticos interactivos".
Los marcadores resaltados se pueden arrastrar. Deben explicarse por sí mismos si los mueve. Pero para enfatizar, los marcadores en el marco inferior representan valores de series de entrada futuras. Si puede pronosticar valores de entrada futuros, debe colocar los marcadores en los lugares deseados y el cuadro de salida en la parte superior debe mostrar cómo se ve el pronóstico en la serie de respuesta. Los valores de entrada futuros se pueden importar de otras maneras, que no voy a elaborar (hay un botón sobre el gráfico que indica su propósito para eso).
Entonces, lo anterior es un ejemplo del uso del Modelo de función de transferencia para analizar y pronosticar un subconjunto de sus datos. ¿Pero no tiene sentido? Para mí, no estoy seguro. Tus datos son bastante ricos. El modelo se ajusta bien a este subconjunto. Pero no se ajusta bien a todos los subconjuntos. Y te dejo eso para que concluyas.
Hice un gráfico para resumir cómo se ven sus datos por grupos de edad. Las líneas azules son series de NL por grupos de edad. Y las líneas rojas son series de población correspondientes. Todas las series de NL tienen tendencias alcistas. Las series de Población tienen tendencia a la baja para los grupos de edad menores de 50 años; y tienen tendencia ascendente para los mayores de 54 años. Varias maravillas:
- ¿Cómo se verá esta imagen el próximo año, el año siguiente, y así sucesivamente?
- ¿Cómo explicar el corte en el grupo 50-54? Y cómo interpretar las tendencias opuestas entre NL y la Población para los grupos de edad más jóvenes, pero las mismas tendencias entre ellos para los grupos de mayor edad.
- ¿Qué intentan decir los movimientos al final de la serie NL? Me parecen interesantes.
Re: Pronóstico de series de tiempo con dos variables correlacionadasA continuación se analizan los datos desde un ángulo diferente.
En la fila superior, cada cuadro es un gráfico de NL frente a grupos de edad, a lo largo de los años.
En la fila inferior, cada cuadro es un gráfico de Población frente a grupos de edad, a lo largo de los años.
Para mí, esta trama ofrece perspectivas más consistentes sobre lo que está cambiando y lo que no está cambiando.
Y si miro los 21 cuadros en la parte superior en su conjunto, y los pongo en un solo cuadro de forma consecutiva, me recuerda a los famosos datos de pasajeros de aerolíneas, por lo que es bien conocido un modelo ARIMA estacional.
Re: Pronóstico de series de tiempo con dos variables correlacionadasMuchas gracias de nuevo Peng. Estoy empezando a entender esto mucho mejor, pero una cosa todavía me confunde. Usando su archivo cargado con la tabla modificada, no puedo reproducir sus resultados a menos que modifique directamente el script y lo ejecute. Creo que la razón podría deberse a un error potencial (que puede haberse resuelto; actualmente estoy usando JMP 15 pero pronto actualizaré a 17) o estoy haciendo algo bastante estúpido. Pero si observa la captura de pantalla adjunta, los cuadros superiores están atenuados. Y no importa lo que haga, no puedo ingresar un retraso a menos que lo cambie directamente en el script. Una vez más su ayuda sería muy apreciada.
Atentamente,
greg
Re: Pronóstico de series de tiempo con dos variables correlacionadasPor favor contactar support@jmp.com , @GregMcMahon
No recuerdo si esto fue un problema. No puedo reproducirlo en JMP15 o JMP14. Parece que la pantalla no está sincronizada, los cuadros del editor de números están alineados con sus etiquetas. Deberían haber subido una fila.
Puedo pensar en una razón: los nombres de las columnas. Las versiones recientes de JMP usan dos puntos, comillas, nombre, comillas finales, "n" para indicar columnas con caracteres inusuales como guiones.
Las versiones anteriores de JMP usan una llamada de función de nombre
No estoy seguro de cómo modificó el script, pero imagino que debe modificar los nombres de los scripts y las columnas en la tabla de datos para que se ejecute en versiones anteriores. Adjunto una tabla de datos actualizada para una versión anterior. Si esta versión funciona, estoy bastante seguro de que el problema se debió al nombre de la columna. Pero si tiene alguna duda, póngase en contacto con el soporte técnico. Te lo agradezco.
Además, después de obtener una versión más nueva, desea consultar la función de transformación de Box-Cox agregada en una versión reciente.
Ver Serie temporal de lanzamiento
Puedo ajustar un modelo ARIMA estacional plausible (1,0,1)(1,1,0)19 con lambda = 0,2174
Re: Pronóstico de series de tiempo con dos variables correlacionadasMuchas gracias de nuevo Peng. No ayudó, así que escribí un mensaje largo con archivos adjuntos para apoyar. Los mantendré actualizados a medida que escuche más.
Atentamente,
greg
Re: Pronóstico de series de tiempo con dos variables correlacionadasActualización para ti @GregMcMahon - El problema que informó se envió a JMP Development y se solucionó en la próxima versión principal de JMP (JMP 18). Agradecemos que se tome el tiempo para informar el problema en detalle; ayudó a identificar y encontrar la solución correcta.
Pronóstico de series de tiempo con dos variables correlacionadasEstoy seguro de que hay una manera de hacer esto en Modelo de ajuste, Análisis de serie temporal o Pronóstico de serie temporal. Tengo dos series temporales agrupadas por tramos de edad. Las columnas son la población y el gasto en atención de la salud. Puedo hacer algunos modelos de pronóstico sin problema con los datos individualmente. Pero tengo un auge de la población en el grupo de edad de 40 a 60 años, por lo que cuando se conviertan en el grupo de edad de 70 a 80 años, provocarán un aumento en la carga de la atención de la salud que no se captará si solo hago lo previsión en la propia columna de gastos.
¡Gracias por cualquier consejo y feliz año nuevo a todos!
Mejor,
greg
Modelado Estadístico Avanzado
