En mi Publicación anterior en Lord's Paradox (1967), mostré cómo dos modelos, incluso cuando se ajustan a los mismos datos, pueden llevar a inferencias estadísticas opuestas. Estos modelos son el análisis de covarianza (ANCOVA) y la t -prueba en una puntuación de diferencia calculada a partir de dos medidas repetidas de datos. En este post, explico ese ejemplo anterior al discutir un tercer modelo: El modelo de efectos lineales mixtos (LME) .
Comencemos recordando cómo se ven sus datos en nuestro ejemplo hipotético y los resultados clave de ANCOVA y t -prueba en JMP (para los resultados completos vea mi Publicación anterior 
Figura 1. Diagrama de espaguetis con datos de dos ocasiones y resumen de resultados del post anterior.
El modelo ANCOVA sugiere que hay un efecto significativo de haber usado el producto de un competidor en la satisfacción del cliente de la segunda ocasión, mientras que se controla la satisfacción del cliente en el momento 1 (algunos podrían llamar a esto un efecto de usar el producto del competidor en el cambio de la satisfacción del cliente "residualizado") . los t -la prueba, por otro lado, sugiere que no hay diferencias en la forma en que la satisfacción del cliente cambió con el tiempo entre aquellos que usaron y no usaron el producto de su competidor.
Usando modelos lineales de efectos mixtos
Sabiendo que diferentes modelos hacen suposiciones diferentes sobre los datos, puede preguntarse qué pasaría si hubiera ajustado un modelo LME a sus datos. De hecho, muchos campos reconocen los modelos LME como el enfoque de vanguardia para modelar datos con una estructura jerárquica o anidada (p. Ej., Medidas repetidas anidadas dentro de individuos). Aquí, el modelo LME se puede usar para estimar un intercepto y una pendiente (es decir, un cambio) para la satisfacción del cliente a lo largo del tiempo y el efecto de su predictor clave en ellos. Con suerte - recuerda que solo tienes dos ocasiones de datos! - incluso podría ser capaz de estimar efectos aleatorios para la intersección y la pendiente también. Es decir, estimaciones de cómo los clientes se desvían de la trayectoria promedio.
Los datos originales requieren cierta manipulación, por lo que están listos para un modelo LME (desplácese hacia abajo para descargar el archivo de datos de esta publicación, que incluye los scripts para todos los modelos LME a continuación). Echemos un vistazo rápido:
Figura 2. Datos simulados después de la manipulación en formato largo. Los datos ahora tienen una variable de satisfacción del cliente y una variable de tiempo que indica el tiempo de la evaluación (0 = tiempo 1 y 1 = tiempo 2). Puedes usar el Plataforma Fit Model en JMP con personalidad de modelo mixto en JMP para ajustar un modelo "incondicional" para la satisfacción del cliente (Sugerencia: desactive la opción de centrar polinomios porque 0 ya representa un valor significativo de nuestros predictores y obtenga la parametrización del indicador seleccionando esta opción en el menú del triángulo rojo ). Este es un modelo centrado únicamente en caracterizar las trayectorias de satisfacción del cliente a lo largo del tiempo:
Figura 3. Resultados del modelo incondicional de LME con covarianza de efectos aleatorios de intercepción y tiempo.
Note que no hay un error estándar asociado con el Residual. ¡Esto no es sorprendente porque pedimos demasiado de los datos! Nuestros datos no tienen suficiente información para estimar esta cantidad de efectos aleatorios. Una solución para identificar correctamente el modelo es eliminar la covarianza entre Intercepción y Tiempo, que en este caso es cero:
Figura 4. Los resultados del modelo incondicional de LME excluyen la covarianza de los efectos aleatorios de intercepción y tiempo.
Este modelo incondicional nos brinda información útil sobre el proceso en consideración: como Time está codificado 0/1, el efecto fijo significativo de la Intercepción sugiere que los clientes tienen un puntaje de satisfacción promedio de 4.04 en la primera ocasión de medición que es significativamente diferente de cero ( ver Figura 5). Es importante destacar que los clientes se desvían significativamente de este valor promedio dado el significativo efecto aleatorio de la identificación del cliente (esta es la varianza o el efecto aleatorio para la intersección). Además, los efectos no significativos fijos y aleatorios de Time sugieren que el puntaje promedio de satisfacción del cliente no cambia en la segunda ocasión de evaluación y esto es cierto para todos los clientes. Debido a que este modelo se trata solo de la satisfacción del cliente, esencialmente estamos modelando lo que se muestra aquí:
Figura 5. Diagrama de espaguetis de trayectorias individuales de satisfacción del cliente con una gran trayectoria media superpuesta.
Con una mejor comprensión de la trayectoria de satisfacción del cliente, podemos volver a la pregunta original planteada por su gerente: ¿Hay un efecto de haber usado el producto de un competidor en la forma en que la satisfacción de sus clientes cambió con el tiempo? Bueno, ya sabemos que la satisfacción del cliente no cambió con el tiempo, por lo que puede optar por detenerse aquí, pero podríamos descubrir algo nuevo si exploramos los resultados de un modelo LME "condicional". Es decir, uno en el que nuestro predictor clave de interés se ingresa como un predictor en el modelo:
Figura 6. Modelo LME condicional de satisfacción del cliente a lo largo del tiempo y el predictor de agrupación.
Como antes, excluimos la covarianza entre Interceptación y Tiempo porque solo dos ocasiones de medición no brindan suficiente información para estimar dicho efecto, esto puede tener implicaciones importantes que explicaré más adelante en los Puntos clave a continuación.
Los resultados de nuestro modelo LME condicional arrojan luz sobre la Paradoja del Señor y nos ayudan a comprender el panorama general.
Interpretación de los resultados del modelo condicional de LME
Primero, ninguno de los efectos aleatorios es significativo, lo que sugiere que las estimaciones de los efectos fijos caracterizan a toda nuestra población de clientes. En segundo lugar, el interceptor y el predictor de agrupación clave son significativos. Debido a que Time está codificado como 0/1, la Intercepción, 3.54, representa el puntaje promedio de satisfacción del cliente en el momento 1 para aquellos que usaron el producto del competidor (esto está en línea con la línea roja en el diagrama de espagueti de la Figura 1). El Tiempo no tiene ningún efecto, por lo que el puntaje promedio de satisfacción del cliente de 3.54 no cambió entre el tiempo 1 y el tiempo 2 entre los que usaron el producto de la competencia. El efecto significativo del predictor clave (la variable de agrupación) apunta a una diferencia significativa de 1 unidad en la satisfacción del cliente en el momento 1 entre aquellos que usaron y no usaron el producto del competidor. Es decir, aquellos que no usaron el producto de su competidor obtuvieron un puntaje promedio de satisfacción del cliente de aproximadamente 4.54. Finalmente, la falta de una interacción significativa de la variable de agrupación con el tiempo indica que no hay una diferencia detectable a través del tiempo en la satisfacción del cliente para aquellos que no usaron el producto de la competencia.
Los modelos LME nos proporcionan una imagen más amplia de los patrones en nuestros datos, pero esto conlleva el costo de una mayor complejidad en el modelado e interpretación de los modelos, ciertamente en comparación con ANCOVA y t -¡prueba! Así que les dejo algunos puntos clave sobre la Paradoja de Lord y los tres modelos que encajamos con estos datos.
Puntos clave
- El ancova y t -los modelos de prueba resultaron en inferencias contradictorias. Las conclusiones conflictivas surgieron porque los datos son observacionales (es decir, provienen de un estudio no aleatorizado) y tienen diferencias de línea de base en el predictor de interés (si los clientes habían usado el producto de un competidor).
- Algunos piensan que el modelo de ANCOVA es un modelo de "cambio residualizado". ANCOVA es apropiado cuando se analizan datos que provienen de uno la población o cuando no tiene diferencias en la línea de base en un predictor de interés (este es probablemente el caso en estudios aleatorizados).
- los t -la prueba en una puntuación de diferencia captura el cambio dentro de la persona, pero no incluye información sobre los niveles iniciales de su construcción (por ejemplo, la satisfacción del cliente).
- Un modelo de efectos mixtos lineales es útil para caracterizar un proceso que se desarrolla a lo largo del tiempo. Aquí, aclaró los resultados aparentemente contradictorios entre la ANCOVA y t -prueba. Pero con solo dos puntos de tiempo, algunos aspectos del proceso pueden perderse, como la asociación entre el punto de inicio y el cambio resultante: esta fue la covarianza entre el Intercepto y el Tiempo en los modelos LME anteriores, que establecimos en cero. En la medida en que dicha covarianza no sea cero, las estimaciones en el modelo pueden estar sesgadas.
- De manera relacionada, cuando esté interesado en cómo cambia una variable a lo largo del tiempo y los efectos de otras variables en ese cambio, intente obtener al menos tres ocasiones de medición. Esto le permitirá ajustar un modelo de LME, tener una mejor caracterización del cambio y estimar los efectos del interés.
- La Paradoja de Lord es un fenómeno complejo y los investigadores tienen diferentes opiniones sobre cómo manejar mejor las posibles inferencias contradictorias. Un buen recurso para aprender más sobre este tema es van Breukelen (2013).
Referencias
Señor, FM (1967). Una paradoja en la interpretación de comparaciones grupales. Boletín psicológico, 68, 304-305.
van Breukelen, GJP (2013). ANCOVA versus CHANGE desde el inicio en estudios no aleatorizados: las diferencias. Investigación de comportamiento multivariado, 48, 895-922.
