¿Por qué los valores AICc y BIC bajo la personalidad Std Least Squares difieren de aquellos bajo el modelo mixto?Si uso exactamente los mismos datos y el modelo mixto, obtengo diferentes valores de AICc y BIC dependiendo de si uso los mínimos cuadrados estándar (SLS) o las personalidades del modelo mixto. ¿Existe una fórmula de simplificación de estos criterios para el caso SLS? Si es así, ¿qué es? ¿Y cuál es el caso de la personalidad de Regresión generalizada?
Re: ¿Por qué los valores de AICc y BIC bajo la personalidad Std Least Squares difieren de los del modelo mixto?Las plataformas de series temporales y modelos mixtos en JMP no utilizan los mismos algoritmos de estimación. ARIMA ejecuta un paso de inicialización para iniciar el filtro de Kalman, mientras que el Modelo mixto no. Sin embargo, la diferencia es pequeña y despreciable.
Gracias por sus preguntas
Re: ¿Por qué los valores de AICc y BIC bajo la personalidad Std Least Squares difieren de los del modelo mixto?Hola @phersh y @jiancao ,
Adjunto a este mensaje encontrará un conjunto de datos simulados que reuní para ejemplificar mi punto anterior, se muestran las fórmulas para la simulación.
La respuesta es "y", que se observa a través de t (tiempo). No hay un efecto fijo, solo un modelo de intercepción. Los guiones guardados muestran (1) gráfico t vs. y, (2) solución ARIMA, (3) solución de modelo mixto con AR (1) covarianza, (3) solución de modelo mixto con efecto aleatorio, (4) solución de modelo mixto con AR (1) covarianza y efecto aleatorio. Dada la forma en que simulé los datos, la solución (4) es la correcta, y de hecho es la que tiene el AICc y BIC más bajos.
Esto es para mostrar lo que quise decir en mi publicación anterior, si quiero comparar diferentes estructuras de covarianza con la misma especificación de efectos fijos (aquí ninguna, solo interceptar) Me veo obligado a usar la personalidad del Modelo Mixto (es decir, ML). Además, la solución de serie temporal AR (1) (también ML) no genera los mismos valores de LogLikelihood de AICc / BIC / -2 encontrados con la solución AR (1) de modelo mixto, aunque noté que su diferencia tiende a desaparecer a medida que el tamaño de los datos crece que no se muestra aquí.
Re: ¿Por qué los valores de AICc y BIC bajo la personalidad Std Least Squares difieren de los del modelo mixto? @fdottaviano ¡buenas noticias! Puede comparar diferentes especificaciones de efectos aleatorios en la plataforma de modelo mixto.
Gracias de nuevo a @jiancao ,
Puede usar AICc o BIC de modelos mixtos para comparar diferentes especificaciones de efectos aleatorios con el mismo o diferentes conjuntos de efectos fijos.
En cuanto a la especificación de la estructura covariable en medidas repetidas, no sé si puede usar AIC o BIC para comparar eso con un modelo de efectos aleatorios en modelos mixtos. ¿Tiene un caso de uso en el que le gustaría compararlos? La técnica de comparación que describí anteriormente se puede usar para cualquier modelo que cree.
@jiancao estaba tratando de enfatizar que los REML utilizados por SLS serían diferentes para modelos con diferentes conjuntos de efectos fijos, incluso con las mismas estructuras de covarianza (la especificación de efectos aleatorios es equivalente a la estructura CS). Pero supongo que esto causó confusión:
“La diferencia clave es que en REML LL hay un término de penalización, (1/2) log | X`VinvX |, que involucra los efectos fijos, X, en el modelo. Entonces, cuando la parte de efecto fijo de dos modelos es diferente (por ejemplo, efectos principales versus efectos principales + interacciones con ambos con la misma estructura de covarianza), REML LL, por lo tanto, AICc y BIC, serán diferentes. Esto hace que la comparación del modelo sea inválida ".
Re: ¿Por qué los valores de AICc y BIC bajo la personalidad Std Least Squares difieren de los del modelo mixto? @fdottaviano ,
Otra gran pregunta.
Una opción para comparar ML con SLS o modelos de todos los diferentes tipos de efectos fijos y efectos aleatorios es guardar las fórmulas de predicción de los modelos en columnas de guardado y fórmula de predicción. Luego use la plataforma de comparación de modelos bajo el menú de análisis / modelado predictivo. Esto no le dará AICc o BIC parcialmente debido a que las diferentes plataformas de modelado calculan la probabilidad de registro de manera diferente. Otra razón de la falta de AICc o BIC es permitir la comparación de modelos basados en árboles con modelos lineales. La comparación del modelo le dará RSquare, RASE, AAE. También le permitirá comparar los residuos para cada modelo.
Esto solo está disponible en JMP Pro.
Re: ¿Por qué los valores de AICc y BIC bajo la personalidad Std Least Squares difieren de los del modelo mixto?Gracias @phersh ,
Déjame ver si lo hice bien.
Lo que aprendí es que las personalidades de "SLS" y "Regresión generalizada" usan REML, y la personalidad de "Modelo mixto" usa ML.
Dado que la Regresión generalizada solo puede ejecutar modelos de efectos fijos, no hay riesgo de comparaciones no válidas por cierto, en términos AICc o BIC, porque todos están compuestos por efectos fijos.
Cuando desee ajustar un modelo mixto (efectos fijos + aleatorios) tiene dos alternativas en términos de personalidades: SLS y Modelo mixto.
Si uso SLS, puedo comparar modelos, en términos AICc o BIC, con diferentes especificaciones de efectos aleatorios, por ejemplo, dos efectos aleatorios versus un efecto aleatorio versus ningún efecto aleatorio, siempre que todos los modelos tengan la misma especificación de efectos fijos.
Si uso el Modelo mixto, puedo comparar modelos, en términos AICc o BIC, con diferentes especificaciones de efectos fijos, por ejemplo, superficie de respuesta vs. principal efecto + interacciones versus efectos principales solamente: siempre que todos los modelos tengan la misma especificación de efectos aleatorios.
Para ver cómo encaja mi material de entrenamiento SAS PROC MIXED en JMP, primero debemos comenzar con una especificación completa de efectos fijos y probar diferentes especificaciones de efectos aleatorios usando REML, es decir, usando la personalidad SLS. Una vez que seleccionamos la mejor especificación de efectos aleatorios, por ejemplo, el AICc o BIC más bajo, entonces probamos diferentes especificaciones de efectos fijos usando ML, es decir, usando la personalidad del Modelo mixto. Una vez que seleccionamos la mejor especificación de efectos fijos, por ejemplo, el AICc o BIC más bajo, volvemos a la personalidad SLS y estimamos el modelo final que comprende las mejores especificaciones fijas y aleatorias. Hasta ahora tan bueno.
Sin embargo, ¿qué pasa si tengo dudas entre dos modelos con una especificación de efecto fijo dada y diferentes estructuras de covarianza, por ejemplo, efecto aleatorio versus espacial covarianza? En JMP solo puedo usar la personalidad del Modelo mixto para ajustar el modelo espacial. Como tal, el modelo espacial solo se puede ajustar a través de ML, lo que me obliga a usar la misma personalidad de Modelo mixto para ajustar el modelo con un efecto aleatorio, de modo que ambos se puedan ajustar con el mismo método: que es ML. Ahora, si quiero seleccionar uno basado en AICc o BIC, ¿no sería inválido? ¿Cómo podría comparar manzanas con manzanas en esta situación?
Re: ¿Por qué los valores de AICc y BIC bajo la personalidad Std Least Squares difieren de los del modelo mixto?Gracias a @jiancao por la respuesta sobre esto. Primero, una muy buena pregunta. Esto proviene de diferentes plataformas de modelado que utilizan diferentes probabilidades de registro.
A continuación se muestran los ML LL y REML LL utilizados por Mixed Model y SLS con efectos aleatorios. @jiancao los capturó de la documentación de SAS https://support.sas.com/documentation/cdl/en/statug/63962/HTML/default/viewer.htm#statug_mixed_sect025.htm )
La diferencia clave es que en REML LL hay un término de penalización, (1/2) log | X`VinvX | , que implica los efectos fijos, X, en el modelo. Entonces, cuando la parte de efecto fijo de dos modelos es diferente (por ejemplo, efectos principales versus efectos principales + interacciones con ambos con la misma estructura de covarianza), REML LL, por lo tanto, AICc y BIC, serán diferentes. Esto hace que la comparación del modelo sea inválida.
Esta es la razón detrás de la decisión de JMP de usar ML LL, no REML. En otras palabras, en la personalidad de Modelo mixto, puede usar AIC o BIC para comparar diferentes modelos con diferentes especificaciones de efectos fijos. (Digo que la decisión de JMP se debe a que SAS Proc Mixed utiliza REML como método de estimación predeterminado, pero ofrece ML como opción:cara_que_sonríe_con_ojos_sonrientes:)
Una nota adicional: el "-2 Probabilidad de registro residual" en el informe de Estadística de ajuste del modelo mixto sigue el REML LL (es decir, incluye el término de penalización), y coincide con el -2 Probabilidad de registro informado en la sección Estimaciones del componente de varianza REML del SLS.
Para la plataforma de regresión generalizada, no admitimos efectos aleatorios en este punto, por lo que esto no ayudaría en el caso.
GenReg tiene muchas técnicas diferentes, como el lazo y la red elástica, que permiten la selección variable y el ajuste del modelo en un solo paso. La regresión de cresta es útil cuando tiene factores correlacionados. Aquí hay una buena descripción general.
https://www.jmp.com/support/help/en/15.1/?os=win&source=application#page/jmp/overview-of-the-generalized-regression-personality.shtml
