Modelos mixtos lineales con JMP® Pro: una cara, muchos sabores*
Jian Cao, PhD
Instituto SAS, Inc.
24 de marzo de 2015
Bruselas, Belgica
Resumen
Una de las nuevas características introducidas en JMP Pro 11 son los modelos mixtos. Esta nueva personalidad de modelado en la plataforma Fit Model permite ajustar una variedad de modelos de regresión con efectos fijos y aleatorios junto con una estructura de covarianza adecuada. ¿Qué es un modelo mixto? ¿Cuándo y por qué conviene calzar un modelo mixto? ¿Y cómo encaja JMP en ese modelo? En este artículo intentaré disipar los mitos sobre los modelos mixtos 1) revisando brevemente los antecedentes estadísticos, 2) discutiendo por qué los modelos mixtos proporcionan mejores estimaciones y las consecuencias de ajustar los modelos de regresión tradicionales a los datos donde las mediciones de una variable de respuesta están correlacionadas o un falta la variable explicativa clave, y 3) ilustrar los modelos mixtos de JMP® Pro ajustando diferentes sabores de modelos mixtos que se emplean ampliamente en aplicaciones de la vida real.
Reconocimiento: Quisiera agradecer a Christopher Gotwalt y Laura Lancaster por su ayuda.
* El material presentado en este documento también se aplica a JMP Pro 12.La mejora clave en el nuevo JMP Pro 12 es un algoritmo de optimización mejorado que permite que JMP se ejecute más rápido que en JMP Pro 11 para datos de gran tamaño. .
JMP Pro 11 ha agregado una nueva personalidad de modelado, Mixed Model, a su plataforma Fit Model.¿Qué es un modelo mixto? ¿Cómo encaja JMP en ese modelo? ¿Cuáles son las aplicaciones clave en las que se pueden aplicar modelos mixtos? En este documento, intentaré disipar los mitos sobre los modelos mixtos y demostrar la capacidad de JMP con ejemplos de la vida real.
¿Qué es un modelo mixto lineal?
Los modelos mixtos lineales son una generalización de los modelos de regresión lineal , y=Xβ +ε . Extendiendo el modelo para permitir efectos aleatorios, Z , el nuevo modelo se convierte en y=Xβ+Z γ + ε . Este es el modelo mixto lineal ya que hay efectos fijos, X, y efectos aleatorios, z
Se hacen las siguientes suposiciones para el parámetros de efectos aleatorios, γ y error aleatorio ε :
(1) γ y ε se distribuyen normalmente, y (2) no hay correlaciones entre y ε .JMP proporciona varias estructuras de uso común para ε . Los coeficientes de efectos fijos , , y matrices de covarianza para y se estiman conjuntamente por el método de máxima verosimilitud restringida. La instalación de modelos mixtos requiere a datos adicionales sobre cada unidad de sección transversal o, en el caso de modelar datos espaciales, dimensiones de las mediciones. Hay modelos mixtos para respuestas distribuidas no normales o modelos mixtos no lineales ; sin embargo, Limito el alcance de mi discusión a los modelos mixtos lineales que son compatibles con JMP Pro.
¿Por qué modelos mixtos?
Cuando existe correlación entre las respuestas o una importante variable explicativa falta, no tenerlo en cuenta conduce a estimaciones sesgadas de los efectos del tratamiento y otros factores.
Estos son algunos casos de uso comunes para modelos mixtos:
- Permitiendo coeficientes
- Análisis de diseños de bloques aleatorios y diseños de parcelas divididas donde los factores difíciles y fáciles de cambiar dan como resultado múltiples términos de error;
- Controlar la heterogeneidad individual no observada en forma de efectos aleatorios (es decir, modelos de datos de panel);
- Análisis de medidas repetidas donde se correlacionan los errores dentro del sujeto;
- Respuestas múltiples que están correlacionadas porque las medidas se toman de los mismos sujetos;
- Las materias son jerárquicas (es decir, estudiantes dentro de las escuelas) . Esto se conoce como Modelo Jerárquico Lineal o Modelos Multinivel;
- Variabilidad espacial (es decir, regresión geoespacial);
Con JMP Pro, puede especificar y ajustar fácilmente todos estos modelos utilizando la interfaz de apuntar y hacer clic y revisar los resultados de una manera fácil de usar.
Pasos para especificar un modelo mixto en JMP Pro
- 1. Seleccione Analizar => Ajustar modelo , y elige Personalidad de modelo mixto ;
- 2. Seleccione una variable de respuesta continua de su tabla de datos como Y y construya efectos fijos como lo haría normalmente con un ajuste de mínimos cuadrados estándar;
3A. Usar Efectos aleatorios pestaña para especificar coeficientes aleatorios o efectos aleatorios;
3B. Usar Estructura repetida pestaña para seleccionar una estructura de covarianza para los errores del modelo;
- 4. Haga clic en Correr .
Ahora pasaré al ejemplo para mostrar cuatro sabores diferentes de modelos mixtos: modelo de coeficiente aleatorio, análisis de medidas repetidas, modelo de datos de panel y regresión geoespacial.
Ejemplo 1: Modelos de coeficientes aleatorios: permitiendo intercepción y pendientes variar aleatoriamente entre sujetos
En este ejemplo, estamos interesados en estimar el efecto sobre el rendimiento de trigo de la humedad del suelo antes de la siembra, mientras permitimos que cada variedad de trigo tenga una desviación aleatoria de los efectos de la población. Por lo tanto, se requiere un modelo de coeficiente aleatorio. El experimento selecciona aleatoriamente 10 variedades de la población de trigo y asigna cada una a seis lotes de tierra .En total se recolectan 60 observaciones con 6 mediciones de rendimiento para cada variedad. (Los datos, "Trigo", están disponibles en el directorio de datos de muestra de JMP).
Seguí los pasos establecidos anteriormente para especificar el modelo. De Efectos fijos pestaña, especifique Humedad junto con una intercepción predeterminada como efectos fijos.
Fit Model: Fixed EffectsModelo de ajuste: efectos fijos
A continuación, desde el Efectos aleatorios pestaña, usando Anidar coeficientes aleatorios botón para solicitar intercepción aleatoria y efecto de humedad para cada variedad. 
Fit Model: Random EffectsModelo de ajuste: efectos aleatorios
Por último, desde Estructura repetida pestaña, seleccione Residual para el término de error del modelo.
Fit Model: Repeated Structures Modelo de ajuste: Estructuras repetidas
La siguiente captura de pantalla muestra Estimaciones de parámetros de covarianza de efectos aleatorios, estimaciones de parámetros de efectos fijos y Coeficientes aleatorios .Vamos a discutirlos a su vez.
La estimación de la varianza de Intercept es 18,89 con una estimación del error estándar de 9,11, por lo que la puntuación z es 2,07 (=18,89/9,11). Usando la función de distribución normal del editor de fórmulas de JMP, podemos encontrar que el valor p es 0.0192, lo que indica que la variación en el rendimiento de referencia entre las variedades es estadísticamente significativa.Del mismo modo, el pags -valor por Cov(Humedad, Intercepción) , 0.3777 y valor p para Var(Humedad) es 0.0380.
los Coeficientes aleatorios informe da el BLUP (B Predictor imparcial lineal est) valores de cómo cada variedad es diferente de la intercepción de la población y el efecto de la humedad de la población informado en Estimaciones de parámetros de efectos fijos. Para la Variedad 1, el efecto estimado de la humedad en su rendimiento es 0,61 (=0,66-0,05), el rendimiento de referencia es 34,39 (=33,43+0,96) y la ecuación de rendimiento pronosticada es
Al combinar las estimaciones de efectos fijos y coeficientes aleatorios, encontramos un efecto general significativo en el rendimiento de humedad del trigo y descubrimos una variación significativa en el efecto de la humedad entre diferentes variedades.
Otras aplicaciones de los modelos de coeficientes aleatorios
El modelo de crecimiento individual es un tipo de modelo de coeficiente aleatorio en el que aleatorio tiempo el efecto es estimada para cada individuo.Esto se hace especificando un continuo variable de tiempo como día o mes como un efecto aleatorio, y tu cantar Anidar coeficientes aleatorios botón para solicitar la pendiente (es decir, el crecimiento) y el intercepto por separado para cada individuo.
En la investigación educativa, los temas a menudo se anidan en un orden jerárquico.Al agregar múltiples grupos de declaraciones de efectos aleatorios, puede ajustar Modelos lineales jerárquicos/Modelos multinivel .
Ejemplo 2: análisis de medidas repetidas: contabilización de errores correlacionados
Las medidas repetidas son las múltiples medidas de una respuesta recopilada de los mismos sujetos a lo largo del tiempo.En este ensayo clínico, los sujetos (es decir, los pacientes) se asignaron al azar a diferentes grupos de tratamiento. El nivel de colesterol total de cada sujeto se midió varias veces durante la prueba. El objetivo del estudio es comprobar si nuevos medicamentos son efectivos para reducir el colesterol. Qué hace que el análisis de medidas repetidas sea distinto es la correlación de las medidas dentro de un sujeto. Si no se tiene en cuenta, a menudo se llega a una conclusión incorrecta sobre el efecto del tratamiento. (Los datos, colesterol apilado , está disponible en el directorio de datos de muestra de JMP.
JMP Pro ofrece tres estructuras de covarianza de uso común:
- no estructurado
- AR(1) (autoregresivo de primer orden) estima la correlación entre dos mediciones que están separadas por una unidad de tiempo.La correlación disminuye a medida que aumenta la diferencia horaria.
- CS
La siguiente captura de pantalla muestra la Efectos fijos parte del análisis de medidas repetidas, que incluye Tratamiento , Mes , AM PM , y sus interacciones.
Fixed effects part of the model Efectos fijos parte del modelo.
Consideraré tres estructuras de covarianza diferentes para los errores dentro del sujeto.Primero, usemos Desestructurado. Aplicar Tiempo columna como Repetido, y Paciente columna como Tema --esto define las medidas repetidas dentro de un sujeto. Es importante tener en cuenta que JMP requiere que Tema columna tenga un valor único y que Repetido columna sea categórico para el no estructurado opción.
Unstructured Covariance Structure Estructura de covarianza no estructurada
Los informes clave incluyen Estimaciones de parámetros de covarianza de efectos repetidos, Estimaciones de parámetros de efectos fijos, y Pruebas Pruebas de efectos fijos .
Results using Unstructured Resultados usando No estructurado
Una forma de probar la significación estadística de las estimaciones de covarianza es calcular las puntuaciones z y encontrar sus valores p, como hice en el ejemplo anterior del modelo de coeficientes aleatorios. Sin embargo, podemos verificar los límites de confianza: si el intervalo de confianza del 95% para una estimación de covarianza incluye cero, entonces podemos decir que la estimación no es estadísticamente significativa desde cero en α = 5%.Como podemos ver, las seis estimaciones de varianza son significativamente diferentes de cero, pero la mayoría de ellas las estimaciones de covarianza no lo son. Esto sugiere que se deben considerar estructuras parsimoniosas, como AR (1).
Pruebas de efectos fijos informe muestra un efecto de tratamiento altamente significativo. C nivel de esterol también se encuentra que varía significativamente de un mes a otro y de la mañana a la tarde.
A continuación, consideramos AR(1) como la estructura de covarianza para los errores dentro del sujeto. Tenga en cuenta que Repetido La columna utilizada en AR(1) por JMP debe ser una variable continua.Entonces, D. si— número de días desde la fecha de inicio del ensayo en cada medición—se utiliza en lugar de una variable categórica utilizada para la opción de la ONU.
AR(1) Covariance Structure AR(1) Estructura de covarianza
los Efectos repetidos Estimación de parámetros de covarianza El informe muestra una correlación intra-sujeto altamente significativa de 0,95. Los resultados de los efectos fijos son similares a los de la opción de la ONU (no se muestra): el efecto del tratamiento y los efectos del tiempo son estadísticamente significativos.
Results using AR(1) Resultados usando AR(1)
Para completar nuestro ejemplo, finalmente, ajustemos el modelo con un CS estructura. Para hacerlo, seleccione Residual como el Estructura de covarianza repetida —pero no es necesario especificar Repetido y Tema columnas con esta opción; en su lugar, agregamos la identificación del sujeto, Paciente, como un efecto aleatorio en el Efectos aleatorios pestaña. Eso es
w La covarianza dentro del sujeto se modela a través del sujeto ef perfecto
CS Covariance Structure with random subject effect and residual error Estructura de covarianza CS con efecto de sujeto aleatorio y error residual
Results using CSResultados usando CS
A juzgar por los límites de confianza del 95%, la covarianza entre dos medidas sobre el mismo tema no es estadísticamente significativa en α =0,05 (en realidad, valor p= 0.0621 ). Los resultados de las pruebas de efectos fijos son similares a los de los modelos anteriores y, por lo tanto, no se muestran aquí.
Entonces, ¿qué estructura repetida debería adoptarse? Un criterio para la comparación de modelos es AICc. Desde el Estadísticas de ajuste informado por JMP (no se muestra), los AICc son: no estructurado —703.84, AR(1) —652.63 y CS —832.55. Asi que, AR(1) es el ganador.
Ejemplo 3: Modelos de datos de panel: control de la heterogeneidad no observada
Este ejemplo está tomado de Vella y Verbeek (1998), que se analiza en Econometría introductoria por Jeffrey Woodridge como Ejemplo 14.4 . Consulte las referencias a continuación para obtener más información.
Los datos originales provienen de la Encuesta Nacional Longitudinal de la Juventud 1979 Cohorte (NLSY79). En los datos, cada uno de los 545 trabajadores varones trabajó todos los años desde 1980 hasta 1987. Estamos interesados en estimar el efecto sobre los ingresos salariales de la afiliación sindical controlando la educación, la experiencia laboral, el origen étnico, etc.
Aunque NLSY79 recopila antecedentes detallados sobre los trabajadores para utilizarlos como variables de control, aún existen diferencias individuales que no se pueden observar ni medir. Los datos de panel proporcionan una forma de explicar la heterogeneidad individual: si se puede suponer que la heterogeneidad no observada no está correlacionada con todas las variables explicativas incluidas en el modelo, podemos explicarla tratándola como un efecto aleatorio.
Siguiendo la discusión de Woodridge, se ajusta una ecuación Log(Wage) en la que se ingresa la identificación del trabajador como un efecto aleatorio para capturar las diferencias no observadas.
Fixed effects part of the Log(Wage) Equation Efectos fijos parte de la ecuación de registro (salario)
Random effects part of the Log(Wage) EquationEfectos aleatorios parte de la ecuación de registro (salario)
Yo selecciono Residual para el término de error de modo. el modelo se llama modelo de efecto aleatorio unidireccional en econometría .
Los resultados se muestran a continuación.
Panel Model Results Resultados del modelo de panel
Desde el Estimaciones de parámetros de covarianza de efectos aleatorios informe encontramos que el individuo heterogeneidad representa el 47,8 % (=0,11/(0,11+0,12)) de la variación total, lo que indica un gran efecto de heterogeneidad no observado. En otras palabras, un análisis OLS probablemente arrojaría resultados engañosos.
los Estimaciones de parámetros de efectos fijos El informe muestra una tasa estimada de rendimiento de la educación del 9,2 % y una prima sindical del 10,5 %, los cuales son estadísticamente muy significativos. Como comparación, un OLS agrupado estimaría la prima sindical en 18,2%. Véase Woodridge (2013, página 495).
Referencias
Francis Vella y Marno Verbeek (1998), " ¿A quién suben los salarios los sindicatos? Un Modelo Dinámico de Sindicalismo y Determinación de la Tasa Salarial para Hombres Jóvenes ", Journal of Applied Econometrics, Vol. 13, No. 2, pp. 163-183. Los datos se pueden descargar del sitio web de Journal http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
Jeffrey M. Woodridge (2013), Econometría introductoria: un enfoque moderno (5 el edición), Aprendizaje Cengage.
Ejemplo 4: modelado de datos geoespaciales: teniendo en cuenta la correlación espacial
Al igual que las medidas repetidas se correlacionan a lo largo del tiempo, es probable que los datos espaciales se correlacionen en el espacio.Es decir, medidas que son relativamente juntos son más parecidos que los que están más separados. Por lo tanto, debemos tener en cuenta la dependencia espacial en el análisis.
Los datos espaciales se registran junto con coordenadas tales como latitud y longitud, posiciones de fila y columna, direcciones norte-sur y este-oeste. La distancia entre dos mediciones se calcula utilizando un distancia euclidiana función, que se utiliza para formar una estructura de covarianza. yo fa función de distancia no depende de las direcciones de las mediciones, entonces se dice que la covarianza es isotrópico; de lo contrario es anisótropo .Además, a pepita Se puede agregar un efecto para tener en cuenta los cambios abruptos en distancias pequeñas en un área local.
JMP Pro proporciona cuatro distancia euclidiana funciones para estructuras isotrópicas: potencia, exponencial, gaussiana y esférica.Están disponibles varias formas de estructuras anisotrópicas.También se puede agregar un efecto pepita a las estructuras de covarianza.
El siguiente ejemplo está tomado de SAS para modelos mixtos, 2.ª edición , 2006, págs. 457-460. ( http://www.sas.com/store/prodBK_59882_en.htm ). Para investigar el drenaje de agua en un sitio de disposición de residuos peligrosos, se tomaron 30 muestras en varios lugares del sitio y se registraron por sus direcciones norte-sur y este-oeste.Una relación lineal entre el drenaje de agua (medido por log-transmisividad) y se propuso el espesor de una capa de sal. ( T el datos, Residuos peligrosos , es Conjunto de datos 11.6 en el archivo comprimido
http://support.sas.com/publishing/bbu/59882/59882.zip .)
Se ajusta un modelo de regresión espacial utilizando una estructura de potencia anisotrópica espacial con un efecto pepita. Esta estructura permite que (1) la distancia sea una función de poder de la correlación espacial, (2) las correlaciones espaciales difieran en diferentes direcciones y (3) la variación en distancias pequeñas.
Spatial anisotropic power with nugget Potencia anisotrópica espacial con pepita
Results using spatial anisotropic power with nuggetResultados usando potencia anisotrópica espacial con pepita
Estimación de parámetros de covarianza El informe sugiere una correlación espacial altamente significativa y que dos coeficientes de correlación son, respectivamente, 0,81 (Este-Oeste) y 0,91 (Norte-Sur). Sin embargo, parece no haber ninguna pepita basada en los límites de confianza.Estimaciones de parámetros de efectos fijos muestran un efecto negativo significativo (-0.025) en el drenaje de agua del espesor de la sal.
Vuelvo a montar el modelo eliminando el efecto pepita.
Results using spatial anisotropic power without nugget Resultados utilizando potencia anisotrópica espacial sin pepita
Notamos algunos cambios menores: las correlaciones espaciales estimadas son 0,86 y 0,82, respectivamente, y el efecto del espesor de la sal es -0,021. Al comparar la bondad de ajuste con AICc, el segundo modelo es ligeramente mejor ya que su AIC es más pequeño (84,7 frente a 86,4)
Para probar formalmente la existencia de correlación espacial, ajustamos un modelo de errores independientes seleccionando Residual como la estructura (es decir, suponiendo que no hay correlación espacial). La diferencia en el valor de -2 Residual Log Likelihood entre los dos modelos forma una prueba de razón de verosimilitud χ2. La probabilidad logarítmica residual -2 del modelo de errores independientes es 94,07, por lo que la diferencia es 13,72 (=94,07-80,35). Esto produce un valor p de 0,001 para DF=2. Por lo tanto, se encuentra una correlación espacial significativa en este sitio.
Resumen
Con suerte, estos ejemplos han ilustrado la versatilidad de los modelos mixtos lineales y la facilidad de ajuste de un modelo mixto con JMP. Antes de cerrar, me gustaría compartir algunos consejos generales.
- Para ejecutar un modelo mixto, los datos deben organizarse en un formato "alto y delgado" donde se apilan múltiples medidas de una respuesta en una sola columna. Si sus datos están en un formato "corto y ancho", use la función Tablas JMP Pila transponer.
- Siga el Requisitos de estructura de covarianza repetida de JMP al ingresar las columnas Repetido y Asunto.http://www.jmp.com/support/help/Launch_the_Mixed_Model_Personality.shtml#1013652
- Pruebe diferentes estructuras de covarianza y evalúe diferentes modelos comparando AICc o BIC. Cuanto menor sea el AICc (o BIC), mejor ajuste de un modelo.Ceteris paribus , un modelo parsimonioso es mejor.
- Un modelo de errores independientes (es decir, un modelo con solo efectos fijos) puede servir como modelo de referencia para realizar una prueba de razón de verosimilitud χ2 sobre la existencia de una estructura de covarianza e.
- Tenga en cuenta que cuando se incluyen tanto los efectos aleatorios como los efectos repetidos en un modelo, a menudo no hay datos suficientes para estimar ambos efectos.
