Modelos lineales mixtos con JMP® Pro: una cara, muchos sabores*
Jian Cao, PhD
Instituto SAS, Inc.
24 de marzo de 2015
Bruselas, Belgica
Abstracto
Una de las nuevas características introducidas en JMP Pro 11 son los modelos mixtos. Esta nueva personalidad de modelado en la plataforma Fit Model permite ajustar una variedad de modelos de regresión con efectos fijos y aleatorios junto con una estructura de covarianza adecuada. ¿Qué es un modelo mixto? ¿Cuándo y por qué debería uno adaptarse a un modelo mixto? ¿Y cómo encaja JMP en ese modelo? En este artículo intentaré disipar los mitos sobre los modelos mixtos 1) revisando brevemente los antecedentes estadísticos, 2) discutiendo por qué los modelos mixtos proporcionan mejores estimaciones y las consecuencias de ajustar los modelos de regresión tradicionales a datos donde las mediciones de una variable de respuesta están correlacionadas o una falta una variable explicativa clave, y 3) ilustrar los modelos mixtos de JMP® Pro ajustando diferentes tipos de modelos mixtos que se emplean ampliamente en aplicaciones de la vida real.
Agradecimiento: Me gustaría agradecer a Christopher Gotwalt y Laura Lancaster por su ayuda.
* El material presentado en este documento también se aplica a JMP Pro 12.La mejora clave en el nuevo JMP Pro 12 es un algoritmo de optimización mejorado que permite que JMP se ejecute más rápido que en JMP Pro 11 para datos de gran tamaño. .
JMP Pro 11 ha agregado una nueva personalidad de modelado, Mixed Model, a su plataforma Fit Model.¿Qué es un modelo mixto? ¿Cómo encaja JMP en ese modelo? ¿Cuáles son las aplicaciones clave donde se pueden aplicar modelos mixtos? En este artículo intentaré disipar los mitos sobre los modelos mixtos y demostraré la capacidad de JMP con ejemplos de la vida real.
¿Qué es un modelo lineal mixto?
Los modelos lineales mixtos son una generalización de los modelos de regresión lineal. , y=Xβ +ε . Ampliar el modelo para permitir efectos aleatorios. z , el nuevo modelo se convierte y=Xβ+Z γ + ε . Este es el modelo lineal mixto ya que hay ambos efectos fijos, X, y efectos aleatorios, Z.
Se hacen las siguientes suposiciones para la parámetros de efectos aleatorios, γ y error aleatorio ε :
(1) γ y ε se distribuyen normalmente, y (2) no hay correlaciones entre y ε .JMP proporciona varias estructuras de uso común para ε . Los coeficientes de efecto fijo. , , y matrices de covarianza para y se estiman conjuntamente mediante el método de máxima verosimilitud restringida. La instalación de modelos mixtos requiere a Datos adicionales sobre cada unidad de sección transversal o, en caso de modelar datos espaciales, dimensiones de las medidas. Existen modelos mixtos para respuestas distribuidas no normales o modelos mixtos no lineales ; sin embargo, Limito el alcance de mi discusión a los modelos lineales mixtos que son compatibles con JMP Pro.
Por qué modelos mixtos
Cuando existe correlación entre las respuestas o una importante variable explicativa falta, no tenerlo en cuenta conduce a estimaciones sesgadas de los efectos del tratamiento y otros factores.
A continuación se muestran algunos casos de uso comunes para modelos mixtos:
- Permitiendo coeficientes
- Análisis de diseños de bloques aleatorios y diseños de parcelas divididas donde los factores difíciles y fáciles de cambiar dan como resultado múltiples términos de error;
- Controlar por heterogeneidad individual no observada en forma de efectos aleatorios (es decir, modelos de datos de panel);
- Análisis de medidas repetidas. donde se correlacionan los errores dentro del tema;
- Múltiples respuestas que están correlacionadas porque se toman medidas de los mismos sujetos;
- Los sujetos son jerárquicos (es decir, estudiantes dentro de las escuelas) . Esto se conoce como Modelo Lineal Jerárquico o Modelos Multinivel;
- Variabilidad espacial (es decir, regresión geoespacial);
Con JMP Pro puede especificar y ajustar fácilmente todos estos modelos mediante la interfaz de apuntar y hacer clic y revisar los resultados de una manera fácil de usar.
Pasos para especificar un modelo mixto en JMP Pro
- 1. Seleccionar Analizar =>Ajustar modelo , y elige Personalidad modelo mixta ;
- 2. Seleccione una variable de respuesta continua de su tabla de datos como Y y construya efectos fijos como lo haría normalmente con un ajuste de mínimos cuadrados estándar;
3A. Usar Efectos aleatorios pestaña para especificar coeficientes aleatorios o efectos aleatorios;
3B. Usar Estructura repetida pestaña para seleccionar una estructura de covarianza para errores del modelo;
- 4. Haga clic Correr .
Ahora recurriré al ejemplo para mostrar cuatro tipos diferentes de modelos mixtos: modelo de coeficientes aleatorios, análisis de medidas repetidas, modelo de datos de panel y regresión geoespacial.
Ejemplo 1: modelos de coeficientes aleatorios permitiendo intercepciones y pendientes variar aleatoriamente entre sujetos
En este ejemplo, estamos interesados en estimar el efecto sobre el rendimiento del trigo de la humedad del suelo antes de la siembra, permitiendo al mismo tiempo que cada variedad de trigo tenga una desviación aleatoria de los efectos poblacionales. Por tanto, se requiere un modelo de coeficientes aleatorios. El experimento selecciona aleatoriamente 10 variedades de la población de trigo y asigna a cada una seis terrenos .En total se recogen 60 observaciones con 6 mediciones de rendimiento para cada variedad. (Los datos, “Trigo”, están disponibles en el directorio de datos de muestra de JMP).
Seguí los pasos establecidos anteriormente para especificar el modelo. De Efectos fijos , especifique Humedad junto con una intersección predeterminada como efectos fijos.
Fit Model: Fixed EffectsFit Model: Fixed EffectsAjustar modelo: efectos fijos
A continuación, desde el Efectos aleatorios pestaña, usando Anidar coeficientes aleatorios Botón para solicitar intercepción aleatoria y efecto de humedad para cada variedad. 
Fit Model: Random EffectsFit Model: Random EffectsAjustar modelo: efectos aleatorios
Por último, de Estructura repetida pestaña, seleccione Residual para el término de error del modelo.
Fit Model: Repeated StructuresFit Model: Repeated Structures Ajustar modelo: estructuras repetidas
La siguiente captura de pantalla muestra Estimaciones de parámetros de covarianza de efectos aleatorios, estimaciones de parámetros de efectos fijos y Coeficientes aleatorios .Discutamoslos por turno.
La estimación de la varianza para Intercept es 18,89 con una estimación del error estándar de 9,11, por lo que la puntuación z es 2,07 (=18,89/9,11). Usando la función de Distribución Normal del Editor de Fórmulas JMP podemos encontrar que el valor p es 0.0192, lo que indica que la variación en el rendimiento de referencia entre variedades es estadísticamente significativa.De manera similar, el pag -valor por Cov (humedad, intercepción) , 0,3777 y valor p para Var(humedad) es 0,0380.
El Coeficientes aleatorios informe da el BLUP (B est predictor lineal insesgado) valores de cómo cada variedad es diferente de la población interceptada y la población Efecto de la humedad reportado en Estimaciones de parámetros de efectos fijos. Para la Variedad 1, el efecto de la humedad estimado sobre su rendimiento es 0,61 (=0,66-0,05), el rendimiento de referencia es 34,39 (=33,43+0,96) y la ecuación de rendimiento prevista es
Combinando los efectos fijos y las estimaciones de coeficientes aleatorios, encontramos un efecto general significativo sobre el rendimiento de humedad del trigo y descubrimos una variación significativa en el efecto de la humedad entre diferentes variedades.
Otras aplicaciones de los modelos de coeficientes aleatorios
El modelo de crecimiento individual es un tipo de modelo de coeficientes aleatorios en el que aleatorio tiempo el efecto es estimado para cada individuo.Esto se hace especificando un continuo variable de tiempo como día o mes como efecto aleatorio, y tu cantar Anidar coeficientes aleatorios para solicitar pendiente separada (es decir, crecimiento) e intersección para cada individuo.
En la investigación educativa, los temas suelen estar agrupados en un orden jerárquico.Al agregar múltiples grupos de declaraciones de efectos aleatorios, puede encajar Modelos lineales jerárquicos/modelos multinivel .
Ejemplo 2: Análisis de medidas repetidas: contabilización de errores correlacionados
Las medidas repetidas son las múltiples medidas de una respuesta recopiladas de los mismos sujetos a lo largo del tiempo.En este ensayo clínico, los sujetos (es decir, los pacientes) fueron asignados aleatoriamente a diferentes grupos de tratamiento. El nivel de colesterol total de cada sujeto se midió varias veces durante el ensayo. El objetivo del estudio es comprobar si Los nuevos medicamentos son eficaces para reducir el colesterol. Qué Lo que distingue el análisis de medidas repetidas es la correlación de las medidas dentro de un sujeto. No tenerlo en cuenta a menudo conduce a conclusiones incorrectas sobre el efecto del tratamiento. (Los datos, Colesterol apilado , está disponible en el directorio de datos de muestra de JMP.
JMP Pro ofrece tres estructuras de covarianza comúnmente utilizadas:
- No estructurado
- RA(1) (autoregresivo de primer orden) estima la correlación entre dos mediciones que están separadas por una unidad de tiempo.La correlación disminuye a medida que aumenta la diferencia horaria.
- CS
La siguiente captura de pantalla muestra la Efectos fijos parte del análisis de medidas repetidas, que incluye Tratamiento , Mes , AM PM y sus interacciones.
Fixed effects part of the modelFixed effects part of the model Efectos fijos parte del modelo.
Consideraré tres estructuras de covarianza diferentes para los errores intrasujetos.Primero, usemos No estructurado. Aplicar Tiempo columna como Repetido, y Paciente columna como Sujeto --esto define las mediciones repetidas dentro de un sujeto. Es importante tener en cuenta que JMP requiere que Sujeto columna tenga un valor único y que Repetido la columna sea categórica para el No estructurado opción.
Unstructured Covariance StructureUnstructured Covariance Structure Estructura de covarianza no estructurada
Los informes clave incluyen Estimaciones de parámetros de covarianza de efectos repetidos, Estimaciones de parámetros de efectos fijos, y Pruebas Pruebas de efectos fijos .
Results using UnstructuredResults using Unstructured Resultados usando no estructurado
Una forma de probar la significancia estadística de las estimaciones de covarianza es calcular las puntuaciones z y encontrar sus valores p, como hice en el ejemplo anterior del modelo de coeficientes aleatorios. Sin embargo, podemos verificar los límites de confianza: si el intervalo de confianza del 95% para una estimación de covarianza incluye cero, entonces podemos decir que la estimación no es estadísticamente significativa desde cero en α = 5%.Como podemos ver, las seis estimaciones de la varianza son significativamente diferentes de cero, pero la mayoría de las estimaciones de covarianza no lo son. Esto sugiere que se deberían considerar estructuras parsimoniosas, como AR (1).
Pruebas de efectos fijos El informe muestra un efecto del tratamiento muy significativo. C nivel de esterol también varía significativamente de un mes a otro y de la mañana a la tarde.
A continuación, consideramos RA(1) como estructura de covarianza para los errores intrasujetos. Tenga en cuenta que Repetido La columna utilizada en AR(1) por JMP debe ser una variable continua.Entonces, D. sí— número de días desde la fecha de inicio del ensayo en cada medición, se utiliza en lugar de una variable categórica utilizada para la opción ONU.
AR(1) Covariance StructureAR(1) Covariance Structure AR(1) Estructura de covarianza
El Efectos repetidos Estimación del parámetro de covarianza El informe muestra una correlación intrasujeto muy significativa de 0,95. Los resultados de los efectos fijos son similares a los de la opción ONU (no se muestra): el efecto del tratamiento y los efectos del tiempo son estadísticamente significativos.
Results using AR(1)Results using AR(1) Resultados usando AR(1)
Para completar nuestro ejemplo, finalmente ajustemos el modelo con un CS estructura. Para hacerlo, seleccione Residual como el Estructura de covarianza repetida —pero no es necesario especificar Repetido y Sujeto columnas con esta opción; en su lugar, agregamos el ID del sujeto, Paciente, como un efecto aleatorio sobre la Efectos aleatorios pestaña. Eso es
w La covarianza entre sujetos se modela a través del efecto sujeto. perfecto.
CS Covariance Structure with random subject effect and residual errorCS Covariance Structure with random subject effect and residual error Estructura de covarianza CS con efecto de sujeto aleatorio y error residual
Results using CSResults using CSResultados usando CS
A juzgar por los límites de confianza del 95%, la covarianza entre dos medidas cualesquiera sobre el mismo tema no es estadísticamente significativa en α =0,05 (en realidad, valor p= 0.0621 ). Los resultados de las pruebas de efectos fijos son similares a los de los modelos anteriores y, por lo tanto, no se muestran aquí.
Entonces, ¿qué estructura repetida debería adoptarse? Un criterio para la comparación de modelos es el AICc. Desde el Estadísticas de ajuste informados por JMP (no mostrado), los AICc son: No estructurado —703,84, RA(1) —652,63 y CS —832,55. Entonces, RA(1) es el ganador.
Ejemplo 3: Modelos de datos de panel: controlando la heterogeneidad no observada
Este ejemplo está tomado de Vella y Verbeek (1998), que se analiza en Introducción a la econometría por Jeffrey Woodridge como Ejemplo 14.4 . Consulte las referencias a continuación para obtener más información.
Los datos originales provienen del Cohorte de la Encuesta Longitudinal Nacional de Jóvenes de 1979 (NLSY79). En los datos, cada uno de los 545 trabajadores varones trabajó cada año desde 1980 hasta 1987. Estamos interesados en estimar el efecto sobre los ingresos salariales de la afiliación sindical controlando la educación, la experiencia laboral, el origen étnico, etc.
Aunque NLSY79 recopila información detallada sobre los antecedentes de los trabajadores que se utilizará como variables de control, todavía hay diferencias individuales que no se pueden observar ni medir. Los datos de panel proporcionan una forma de explicar la heterogeneidad individual: si se puede suponer que la heterogeneidad no observada no está correlacionada con todas las variables explicativas incluidas en el modelo, podemos explicarla tratándola como un efecto aleatorio.
Siguiendo la discusión de Woodridge, se ajusta una ecuación Log(Wage) en la que se ingresa la identificación del trabajador como un efecto aleatorio para capturar las diferencias no observadas.
Fixed effects part of the Log(Wage) EquationFixed effects part of the Log(Wage) Equation Efectos fijos que forman parte de la ecuación logarítmica (salario)
Random effects part of the Log(Wage) EquationRandom effects part of the Log(Wage) EquationLos efectos aleatorios forman parte de la ecuación logarítmica (salario)
Yo selecciono Residual para el término de error de modo. El modelo se llama modelo de efecto aleatorio unidireccional en econometria .
Los resultados se muestran a continuación.
Panel Model ResultsPanel Model Results Resultados del modelo de panel
Desde el Estimaciones de parámetros de covarianza de efectos aleatorios informe que encontramos a ese individuo heterogeneidad representa el 47,8% (=0,11/(0,11+0,12)) de la variación total, lo que indica un gran efecto de heterogeneidad no observado. En otras palabras, un análisis MCO probablemente arrojaría resultados engañosos.
El Estimaciones de parámetros de efectos fijos El informe muestra una tasa estimada de retorno a la educación del 9,2% y una prima sindical del 10,5%, ambas cifras muy significativas desde el punto de vista estadístico. A modo de comparación, un MCO conjunto estimaría la prima sindical en un 18,2%. Véase Woodridge (2013, página 495).
Referencias
Francis Vella y Marno Verbeek (1998), " ¿A quién aumentan los salarios los sindicatos? Un modelo dinámico de sindicalismo y determinación de la tasa salarial para hombres jóvenes ", Journal of Applied Econometrics, Vol. 13, No. 2, págs. 163-183. Los datos se pueden descargar del sitio web de la revista. http://qed.econ.queensu.ca/jae/1998-v13.2/vella-verbeek/
Jeffrey M. Woodridge (2013), Introducción a la econometría: un enfoque moderno (5 th editor), Aprendizaje Cengage.
Ejemplo 4: Modelado de datos geoespaciales: teniendo en cuenta la correlación espacial
Así como las medidas repetidas se correlacionan en el tiempo, los datos espaciales probablemente estén correlacionados en el espacio.Es decir, medidas que son los que están relativamente cerca son más parecidos que los que están más separados. Por tanto, debemos tener en cuenta la dependencia espacial en el análisis.
Los datos espaciales se registran junto con coordenadas como latitud y longitud, posiciones de fila y columna, direcciones norte-sur y este-oeste. La distancia entre dos mediciones se calcula utilizando un distancia euclidiana función, que se utiliza para formar una estructura de covarianza. I Si la función de distancia no depende de las direcciones de las mediciones, entonces se dice que la covarianza es isotrópico; de lo contrario es anisótropo .Además, a pepita Se puede agregar un efecto para tener en cuenta cambios abruptos en distancias pequeñas en un área local.
JMP Pro proporciona cuatro distancia euclidiana Funciones para estructuras isotrópicas: potencia, exponencial, gaussiana y esférica.Se encuentran disponibles varias formas de estructuras anisotrópicas.También se puede agregar un efecto pepita a las estructuras de covarianza.
El siguiente ejemplo está tomado de SAS para modelos mixtos, segunda edición , 2006, págs. 457-460. ( http://www.sas.com/store/prodBK_59882_en.htm ). Para investigar el drenaje de agua en un sitio de eliminación de desechos peligrosos, se tomaron 30 muestras en varios lugares del sitio y se registraron en direcciones norte-sur y este-oeste.Una relación lineal entre el drenaje de agua (medido por transmisividad logarítmica) y se propuso el espesor de una capa de sal. ( t los datos, Residuos peligrosos , es Conjunto de datos 11.6 en el archivo comprimido
http://support.sas.com/publishing/bbu/59882/59882.zip .)
Un modelo de regresión espacial se ajusta utilizando una estructura de potencia anisotrópica espacial con un efecto pepita. Esta estructura permite que (1) la distancia sea una función de potencia de la correlación espacial, (2) las correlaciones espaciales difieran en diferentes direcciones y (3) la variación en distancias pequeñas.
Spatial anisotropic power with nuggetSpatial anisotropic power with nugget Poder anisotrópico espacial con pepita.
Results using spatial anisotropic power with nuggetResults using spatial anisotropic power with nuggetResultados utilizando potencia anisotrópica espacial con pepita.
Estimación del parámetro de covarianza El informe sugiere una correlación espacial muy significativa y que dos coeficientes de correlación son, respectivamente, 0,81 (Este-Oeste) y 0,91 (Norte-Sur). Sin embargo, no parece haber ninguna pepita basada en los límites de confianza.Estimaciones de parámetros de efectos fijos muestran un efecto negativo significativo (-0,025) sobre el drenaje del agua del espesor de la sal.
Reajusté el modelo eliminando el efecto pepita.
Results using spatial anisotropic power without nuggetResults using spatial anisotropic power without nugget Resultados utilizando potencia anisotrópica espacial sin pepita
Notamos algunos cambios menores: las correlaciones espaciales estimadas son 0,86 y 0,82, respectivamente, y el efecto del espesor de la sal es -0,021. Al comparar la bondad del ajuste utilizando AICc, el segundo modelo es ligeramente mejor ya que sus AIC son más pequeños (84,7 frente a 86,4).
Para probar formalmente la existencia de correlación espacial, ajustamos un modelo de errores independientes seleccionando Residual como la estructura (es decir, suponiendo que no haya correlación espacial). La diferencia en el valor de probabilidad logarítmica residual -2 entre los dos modelos forma una prueba de razón de probabilidad χ2. La probabilidad logarítmica residual -2 del modelo de errores independientes es 94,07, por lo que la diferencia es 13,72 (=94,07-80,35). Esto produce un valor p de 0,001 para DF=2. Por lo tanto, se encuentra una correlación espacial significativa en este sitio.
Resumen
Con suerte, estos ejemplos han ilustrado la versatilidad de los modelos lineales mixtos y la facilidad de adaptar un modelo mixto con JMP. Antes de cerrar me gustaría compartir algunos consejos generales.
- Para ejecutar un modelo mixto, los datos deben organizarse en un formato "alto y delgado" donde se apilan múltiples medidas de una respuesta en una sola columna. Si sus datos están en formato “corto y ancho”, utilice la función Tablas JMP Pila transponer.
- Siga el Requisitos de estructura de covarianza repetida de JMP al ingresar a las columnas Repetido y Asunto.http://www.jmp.com/support/help/Launch_the_Mixed_Model_Personality.shtml#1013652
- Pruebe diferentes estructuras de covarianza y evalúe diferentes modelos comparando AICc o BIC. Cuanto más pequeño sea el AICc (o BIC), mejor se ajustará un modelo.Ceteris paribus , un modelo parsimonioso es mejor.
- Un modelo de errores independientes (es decir, un modelo con sólo efectos fijos) puede servir como modelo de referencia para realizar una prueba de razón de verosimilitud χ2 sobre la existencia de una estructura de covarianza e.
- Tenga en cuenta que cuando en un modelo se incluyen tanto efectos aleatorios como efectos repetidos, a menudo no hay datos suficientes para estimar ambos efectos.
