Dans mon post précédent sur Lord's Paradox (1967), j'ai montré comment deux modèles, même ajustés aux mêmes données, peuvent conduire à des inférences statistiques opposées. Ces modèles sont l’analyse de la covariance (ANCOVA) et la t -test sur un score de différence calculé à partir de deux mesures répétées de données. Dans cet article, je développe cet exemple précédent en discutant d'un troisième modèle: le modèle à effets mixtes linéaires (LME) .
Commençons par rappeler à quoi ressemblent vos données dans notre exemple hypothétique et les principaux résultats de l’ANCOVA et t -test dans JMP (pour les résultats complets, voir mon post précédent 
Figure 1. Tracé spaghetti des données à deux occasions et résumé des résultats du post précédent.
Le modèle ANCOVA suggère que l'utilisation du produit d'un concurrent pour la satisfaction du client une deuxième fois a un effet significatif, tout en contrôlant la satisfaction du client au moment 1 (certains pourraient appeler cela un effet de l'utilisation du produit du concurrent sur le changement «résidualisé» de la satisfaction du client) . le t -test, d’autre part, suggère qu’il n’ya pas de différence dans l’évolution de la satisfaction des clients entre ceux qui ont utilisé ou non le produit de leur concurrent.
Utilisation de modèles à effets mixtes linéaires
Sachant que différents modèles font des hypothèses différentes sur les données, vous pouvez vous demander ce qui se passerait si vous aviez ajusté un modèle LME à vos données. En effet, de nombreux champs reconnaissent les modèles LME comme l'approche de pointe pour la modélisation de données avec une structure hiérarchique ou imbriquée (par exemple, des mesures répétées imbriquées dans des individus). Ici, le modèle LME peut être utilisé pour estimer une interception et une pente (c.-à-d. Un changement) pour la satisfaction du client au fil du temps et l'effet de votre prédicteur clé sur eux. Avec un peu de chance, n'oubliez pas que vous n'avez que deux occasions de données! - Vous pourriez même être en mesure d'estimer les effets aléatoires pour l'interception et la pente aussi. C'est-à-dire que les estimations de l'écart des clients par rapport à la trajectoire moyenne.
Les données d'origine nécessitent une certaine manipulation afin d'être prêtes pour un modèle LME (faites défiler le fichier de données à partir de cet article, qui inclut les scripts pour tous les modèles LME ci-dessous). Jetons un coup d'oeil:
Figure 2. Données simulées après manipulation dans un format long. Les données ont maintenant une variable de satisfaction du client et une variable de temps qui indique l'heure de l'évaluation (0 = heure 1 et 1 = heure 2). Vous pouvez utiliser le Plateforme Fit Model dans JMP avec une personnalité de modèle mixte dans JMP pour correspondre à un modèle «inconditionnel» afin de satisfaire le client (indice: désactivez l'option permettant de centrer les polynômes, car 0 représente déjà une valeur significative de nos prédicteurs et obtenez le paramétrage de cet indicateur dans le menu du triangle rouge. ). Il s’agit d’un modèle axé uniquement sur la caractérisation des trajectoires de satisfaction des clients au fil du temps:
Figure 3. Résultats du modèle LME inconditionnel avec covariance d'effets aléatoires d'interception et de temps.
Notez qu'il n'y a pas d'erreur standard associée au résiduel. Ce n'est pas surprenant car nous demandons trop de données! Nos données ne contiennent pas assez d'informations pour estimer autant d'effets aléatoires. Une solution pour identifier correctement le modèle consiste à éliminer la covariance entre Intercept et Time, qui dans ce cas est nulle:
Figure 4. Résultats du modèle LME inconditionnel excluant la covariance des effets aléatoires d'interception et de temps.
Ce modèle inconditionnel nous fournit des informations utiles sur le processus considéré: puisque Time est codé 0/1, l’effet fixe important de l’Intercept suggère que les clients obtiennent un score de satisfaction moyen de 4,04 à la première occasion de mesure significativement différent de zéro ( voir la figure 5). Il est important de noter que les clients s’écartent considérablement de cette valeur moyenne en raison de l’effet aléatoire significatif de l’identifiant client (il s’agit de la variance ou de l’effet aléatoire pour l’interception). De plus, les effets fixes et aléatoires non significatifs de Time suggèrent que le score moyen de satisfaction des clients ne change pas à la deuxième évaluation, ce qui est vrai pour tous les clients. Comme ce modèle concerne uniquement la satisfaction de la clientèle, nous modélisons essentiellement ce qui est décrit ici:
Figure 5. Diagramme spaghetti des trajectoires de satisfaction de la clientèle individuelle avec superposition de la trajectoire moyenne.
Avec une meilleure compréhension de la trajectoire de satisfaction client, nous pouvons revenir à la question initiale posée par votre responsable: le fait d'avoir utilisé un produit concurrent a-t-il un effet sur l'évolution de la satisfaction de vos clients? Nous savons déjà que la satisfaction de la clientèle n’a pas changé avec le temps, vous pouvez donc choisir de vous arrêter ici, mais nous pourrions découvrir quelque chose de nouveau si nous examinons les résultats d’un modèle de GED «conditionnel». En d’autres termes, notre prédicteur d’intérêt clé est entré comme prédicteur dans le modèle:
Figure 6. Modèle LME conditionnel de la satisfaction de la clientèle dans le temps et du prédicteur de regroupement.
Comme précédemment, nous avons exclu la covariance entre Intercept et Time, car seulement deux occasions de mesure ne fournissent pas assez d'informations pour estimer cet effet - ceci peut avoir des implications importantes que je développerai dans les points clés ci-dessous.
Les résultats de notre modèle LME conditionnel éclairent le paradoxe de Lord et nous aident à comprendre la situation dans son ensemble.
Interprétation des résultats du modèle LME conditionnel
Premièrement, aucun des effets aléatoires n'est significatif, ce qui suggère que les estimations des effets fixes caractérisent l'ensemble de notre population de clients. Deuxièmement, les prédicteurs d’interception et de groupe de clés sont significatifs. Comme Time est codé 0/1, l'Intercept, 3.54, représente le score moyen de satisfaction de la clientèle au temps 1 pour ceux qui utilisaient le produit du concurrent (ceci correspond à la ligne rouge du graphique de spaghettis de la Figure 1). Il n'y a aucun effet du temps, donc le score moyen de satisfaction de la clientèle de 3,54 n'a pas changé entre le temps 1 et le temps 2 parmi ceux qui ont utilisé le produit du concurrent. L'effet significatif du prédicteur clé (la variable de regroupement) laisse entrevoir une différence significative de 1 unité de satisfaction client au temps 1 entre ceux qui utilisaient et n'utilisaient pas le produit du concurrent. C'est-à-dire que ceux qui n'utilisaient pas le produit de votre concurrent avaient un score moyen de satisfaction de la clientèle d'environ 4,54. Enfin, l’absence d’interaction significative entre la variable de regroupement et le temps n’indique aucune différence décelable dans le temps en matière de satisfaction de la clientèle pour ceux qui n’utilisaient pas le produit du concurrent.
Les modèles LME nous donnent une image plus globale des modèles de nos données, mais cela se fait au prix d’une complexité accrue de la modélisation et de l’interprétation des modèles - certainement par rapport à ANCOVA et t -tester! Je vais donc vous laisser quelques points clés sur le paradoxe de Lord et les trois modèles que nous ajustons à ces données.
Points clés
- L'ANCOVA et t modèles de test ont abouti à des déductions contradictoires. Les conclusions contradictoires sont survenues parce que les données sont observationnelles (c.-à-d. Qu'elles proviennent d'une étude non randomisée) et présentent des différences de base concernant le prédicteur d'intérêt (si les clients avaient utilisé le produit d'un concurrent).
- Certains pensent que le modèle ANCOVA est un modèle de «changement résiduel». ANCOVA est approprié lorsque vous analysez des données provenant de un population ou lorsque vous n’avez pas de différences de base sur un prédicteur d’intérêt (c’est probablement le cas dans les études randomisées).
- le t -test sur un score de différence capture le changement au sein de la personne, mais n'inclut pas d'informations sur les niveaux initiaux de votre construction (par exemple, la satisfaction du client).
- Un modèle linéaire à effets mixtes est utile pour caractériser le déroulement d'un processus dans le temps. Ici, il a clarifié les résultats apparemment contradictoires entre ANCOVA et t -tester. Mais avec seulement deux points temporels, certains aspects du processus peuvent être perdus, tels que l'association entre le point de départ et le changement qui s'ensuit - il s'agissait de la covariance entre Intercept et Time dans les modèles LME ci-dessus, que nous avons fixée à zéro. Dans la mesure où cette covariance est non nulle, les estimations du modèle peuvent être biaisées.
- Dans le même ordre d'idées, lorsque vous êtes intéressé par l'évolution d'une variable dans le temps et par les effets d'autres variables, tentez d'obtenir au moins trois occasions de mesure. Cela vous permettra d’adapter un modèle LME, de mieux caractériser le changement et d’estimer les effets de l’intérêt.
- Le paradoxe de Lord est un phénomène complexe et les chercheurs ont des opinions divergentes sur la meilleure façon de gérer les inférences contradictoires potentielles. Van Breukelen (2013) est une bonne ressource pour en apprendre davantage sur ce sujet.
Références
Lord, FM (1967). Un paradoxe dans l'interprétation des comparaisons de groupes. Bulletin psychologique, 68, 304-305.
van Breukelen, GJP (2013). ANCOVA versus CHANGEMENT par rapport aux valeurs initiales dans les études non randomisées: les différences. Recherche comportementale multivariée, 48, 895-922.
