¿Alguna vez ha analizado los mismos datos utilizando dos modelos diferentes pero apropiados que condujeron a inferencias completamente diferentes? Entonces puede que te hayas encontrado La paradoja del Señor (Señor, 1967).
La Paradoja de Lord (Lord, 1967) ha sido intrigante para los investigadores durante décadas. Especialmente aquellos que trabajan en áreas donde los experimentos diseñados no son posibles (piense en psicólogos que estudian la crianza de los hijos y no pueden asignar aleatoriamente a los niños a padres buenos y malos).
Entonces, ¿cómo puede suceder esto? Te lo explicaré con un ejemplo.
La puesta en marcha
Imagina que eres un analista de datos recién contratado de una nueva empresa emergente. Su gerente está ansioso por ayudarlo a descubrir perspectivas de un conjunto de datos que recientemente recopiló. Quiere que usted examine cómo ha cambiado la satisfacción del cliente durante el primer año de la compañía.
Encuestó a 100 clientes cuando la empresa comenzó a trabajar y los volvió a encuestar hace un par de semanas (un año después). En particular, se preocupa por la experiencia previa de los clientes con el producto de un competidor clave y si esto tiene un efecto en cómo cambió la satisfacción del cliente en el primer año de negocios. Después de entregarle los datos, su gerente expresa su deseo de reunirse con usted lo antes posible para conocer sus hallazgos. Tu usas JMP para abrir el archivo, y se ve así:
Figura 1. Datos simulados de satisfacción del cliente. Cuéntanos qué análisis harías en los comentarios a continuación.
Tiene información sobre si un cliente usó (o no usó) el producto de su competidor antes de usar el suyo. También tiene la satisfacción del cliente desde el inicio de la empresa (en el momento 1 o T1) y un año más tarde (hace un par de semanas, o T2), y tiene una columna de "Cambio en la satisfacción del cliente", que es simplemente la diferencia. entre T2 - T1. ¡Parece un proyecto sencillo!
Puede pensar en algunas formas de analizar estos datos, pero permítame llamar su atención sobre dos opciones:
1) ¿Qué tal hacer una análisis de covarianza (también conocido como modelo de cambio residualizado)? Puede usar la plataforma Fit Model en JMP (Analizar -> Ajustar modelo: Personalidad de mínimos cuadrados estándar) con Satisfacción del cliente en el momento 2 como su resultado. Incluiría la variable de agrupación, Producto del competidor usado, como predictor y Satisfacción del cliente en el momento 1 como covariable (ambos se agregarían como "Efectos del modelo de construcción"). Su interés principal es el efecto potencial de la variable de agrupación en la Satisfacción del Cliente en el momento 2, pero se asegura de incluir la Satisfacción del Cliente en el momento 1 en el modelo para controlar los niveles de referencia de esta variable. Aquí están las estimaciones de ese modelo ( Consejo de JMP: Puede obtener la parametrización del indicador seleccionando esta opción en el menú del triángulo rojo del informe de análisis):
Figura 2. Resultados del análisis de covarianza. El resultado es la satisfacción del cliente en el momento 2.
¡De acuerdo con estos resultados, puede concluir que hay un efecto de haber usado el producto de su competidor antes de usar su compañía! ¡Parece que la satisfacción del cliente actual es significativamente menor (alrededor de 1,02 unidades) para aquellos que usaron el producto de su competidor antes de usar el suyo (su gerente estará encantado de saber esto)! El cuadrado R también sugiere que esto no es trivial; El 80% de la variación en su resultado se explica por los predictores.
2) Pero espera, ¿qué tal simplemente haciendo una t- prueba con las puntuaciones de cambio? Puede usar la plataforma bivariada (Analizar -> Ajustar Y por X -> Medios / Anova / Agrupar t) ingresando la columna Cambiar la satisfacción del cliente como resultado y el Producto del competidor usado como su variable de agrupación (esto es equivalente a hacer una ida ANOVA o una regresión lineal simple con la variable de agrupación como predictor, y también es equivalente a una muestra pareada t -prueba en las puntuaciones T1 y T2, pero ese es un tema para otra publicación del blog). Después de todo, su gerente enfatizó su interés en comprender cómo la satisfacción del cliente cambios . Echemos un vistazo a las estimaciones de este modelo:
Figura 3. Resultados de la prueba t en las puntuaciones de cambio.
Hmm ... ¿qué salió mal? De acuerdo con este modelo (y le prometo que lo adapto a la misma tabla de datos), no hay una diferencia significativa en la forma en que la satisfacción del cliente cambió durante el año anterior entre los que usaron el producto de su competidor y los que no lo hicieron. ¡Aún más llamativo es el cuadrado R casi nulo de este modelo!
Esta es la Paradoja de Lord: la posibilidad de llegar a inferencias completamente diferentes basadas en los mismos datos, pero con diferentes modelos, ambos de los cuales parecen ser apropiados. Así que revelemos qué hay detrás de este rompecabezas, comenzando por trazar los datos utilizando Graph Builder en JMP:
Desvelando el rompecabezas
Figura 4. Diagrama de dispersión de la satisfacción del cliente en los momentos 1 y 2 por grupo (es decir, si los clientes utilizaron el producto de su competidor). También se muestran la línea de mejor ajuste por grupo e intervalos de confianza del 95%. Observe que los puntajes de satisfacción del cliente de la primera encuesta (eje x) son sistemáticamente diferentes entre los que usaron el producto de la competencia y los que no. De hecho, los clientes que utilizaron el producto de su competidor antes de su compañía tuvieron una menor satisfacción del cliente para comenzar (tal vez tuvieron problemas para adaptarse a un nuevo producto), y los que no usaron el producto de su competidor tuvieron una mayor satisfacción del cliente desde el principio . Tampoco observamos a los clientes que no usaron el producto de su competidor que reportó alta satisfacción en el momento 1.
Entonces, ¿por qué su primer modelo apunta a un efecto significativo cuando el segundo modelo no lo hace? Resulta que el análisis de la covarianza hace la suposición implícita de que su muestra proviene de uno población. Si los datos realmente provinieran de una población, entonces consideraríamos inusual tener diferencias medias en el grupo base (porque tomamos muestras aleatorias de la población) y esperaríamos los medios de la segunda encuesta, para aquellos que lo hicieron y no lo hicieron. utilice el producto de su competidor para acercarse a la gran media (este artefacto estadístico se conoce como regresión hacia la media ). Pero aquí, la media dentro de cada grupo permanece casi idéntica a lo largo del tiempo, y para que eso suceda, cuando se muestrea de una población, debe haber una fuerza (es decir, un efecto) que evite que los medios se acerquen entre sí. Esta "fuerza" es el efecto que identifica el análisis de covarianza. Por otro lado, la t -la prueba no implica tal suposición, y los resultados reflejan esto en el efecto nulo. Tal vez trazar los datos de una manera diferente puede ilustrar esto más a fondo ...
Figura 5. La fuerza que impide que las trayectorias de la media regresen hacia la gran media se superpone a la trama de espagueti. Podemos ver que los individuos tuvieron pocos cambios a lo largo del tiempo y la tendencia general tampoco ha cambiado; aquellos que comenzaron bajo / alto permanecieron bajos / altos en la satisfacción de sus clientes.
Entonces, dado lo que sabemos ahora, ¿qué información compartirá con su gerente? ¿Informará el efecto de haber utilizado el producto de su competidor en la satisfacción del cliente? Bueno, si alguna vez te enfrentas a una situación como esta en la vida real, asegúrate de leer más sobre este tema (ciertamente lo he simplificado demasiado aquí); un artículo útil es van Breukelen (2013).
Pero por el momento, permítame aclarar que usted no estaría en una situación tan difícil si estos datos se hubieran recopilado como parte de un experimento diseñado. La asignación aleatoria es una característica clave de los experimentos diseñados que nos permite garantizar que la variabilidad debida a la idiosincrasia de los clientes se distribuya por igual entre los grupos. Es decir, se cumpliría la suposición subyacente de que tomaste muestras de una población desde el inicio y los dos modelos que describí aquí llevarán a las mismas conclusiones (aunque el análisis de covarianza tiene más poder).
Puntos clave
Para aliviar la confusión que se sabe que provoca este tema, le dejaré algunos puntos que pueden ayudarlo cuando aborde su próxima pregunta basada en datos:
- Explotar visualización herramientas. Conozca sus datos antes de ajustar un modelo. Muchas veces, sabemos buscar valores atípicos y errores de entrada de datos, pero también recuerde buscar suposiciones del modelo.
- Simulé los datos para este ejemplo, y puede acceder al archivo aquí si está dispuesto a jugar con él. Sin lugar a dudas, he creado un escenario en el que las diferencias entre los modelos son sorprendentes. Esto facilita mi ilustración de los problemas, pero no significa que no es probable que encuentre la Paradoja de Lord en sus propios análisis con datos reales.
- Los datos de observación son complicados. Recuerda el dicho, la correlación no implica causalidad ? Independientemente del modelo que crea que es apropiado para sus datos, ninguno le dice si el producto de su competidor es el responsable de los niveles de satisfacción de sus clientes.
- Utilizar el Diseño de experimentos (DOE) herramientas en JMP. Los problemas que describí aquí solo se encuentran en los estudios observacionales. Ambos modelos anteriores llegarán a la misma inferencia si realiza un experimento controlado. Mientras pueda asignar aleatoriamente a sus clientes a los diferentes grupos, entonces siempre debería preferir realizar un experimento y la plataforma del DOE puede ayudarlo a hacer precisamente eso.
- Replicar, replicar, replicar. ¿Qué pasaría si hubiéramos dado estos datos a dos analistas diferentes y uno encaja en un análisis de covarianza y el otro a t -¿prueba? Esta publicación ilustra una de las muchas razones por las que los nuevos análisis pueden no replicar los resultados anteriores. No podemos pasar por alto la importancia de la replicabilidad. Este punto es esencial independientemente de si sus datos son observacionales o experimentales. Si puede validar sus resultados con una muestra independiente, hágalo. Y cuando lo haga, asegúrese de que su enfoque de análisis se alinee con el del estudio original.
¿Desperté tu interés lo suficiente como para seguir leyendo sobre este tema? Si es así, busque un próximo post en el que encajo un modelo de efectos mixtos lineales a estos datos.
Referencias
Señor, FM (1967). Una paradoja en la interpretación de comparaciones grupales. Boletín psicológico, 68, 304-305.
van Breukelen, GJP (2013). ANCOVA versus CHANGE desde el inicio en estudios no aleatorizados: las diferencias. Investigación de comportamiento multivariado, 48, 895-922.
