Avez-vous déjà analysé les mêmes données en utilisant deux modèles différents mais appropriés qui ont conduit à des inférences complètement différentes? Ensuite, vous avez peut-être rencontré Le paradoxe du seigneur (Lord, 1967).
Lord's Paradox (Lord, 1967) intrigue les chercheurs depuis des décennies! Surtout ceux qui travaillent dans des domaines où les expériences conçues ne sont pas possibles (pensez aux psychologues qui étudient la parentalité et ne peuvent pas assigner au hasard des enfants à des parents bons ou mauvais).
Alors, comment cela peut-il arriver? Je vais expliquer avec un exemple.
La mise en place
Imaginez que vous soyez un analyste de données nouvellement embauché pour une entreprise émergente en démarrage. Votre responsable est impatiente de vous aider à découvrir des informations à partir d'un jeu de données qu'elle a récemment collecté. Elle souhaite que vous examiniez l'évolution de la satisfaction de la clientèle au cours de la première année de l'entreprise.
Elle a interrogé 100 clients lorsque l'entreprise a démarré et les a interrogés à nouveau il y a quelques semaines (un an plus tard). Elle se soucie particulièrement de l'expérience des clients avec les produits d'un concurrent clé et de savoir si cela a un impact sur l'évolution de la satisfaction des clients au cours de la première année d'activité. Après vous avoir remis les données, votre responsable exprime son désir de vous rencontrer dès que possible pour connaître vos conclusions. Tu utilises JMP pour ouvrir le fichier, et cela ressemble à ceci:
Figure 1. Données simulées de satisfaction client. Dites-nous quelle analyse vous feriez dans les commentaires ci-dessous.
Vous avez des informations sur le fait qu'un client a utilisé (ou n'a pas utilisé) le produit de votre concurrent avant d'utiliser le vôtre. Vous avez également la satisfaction client dès le début de l’entreprise (à l’heure 1 ou T1) et un an plus tard (il y a deux semaines, ou T2), et vous avez une colonne «Changement dans la satisfaction client», qui est simplement la différence entre T2 - T1. On dirait un projet simple!
Vous pouvez penser à quelques manières d’analyser ces données, mais permettez-moi d’attirer votre attention sur deux options:
1) Que diriez-vous de faire un analyse de covariance (aka modèle de changement résidualisé)? Vous pouvez utiliser la plateforme Fit Model dans JMP (Analyse -> Fit Model: personnalité des moindres carrés standard) avec la satisfaction client au temps 2 comme résultat. Vous incluriez la variable de regroupement, Produit du concurrent utilisé, en tant que prédicteur et la satisfaction du client au temps 1 en tant que covariable (les deux seraient ajoutés en tant qu '«effets de modèle de construction»). Votre intérêt principal porte sur l'effet potentiel de la variable de regroupement sur la satisfaction du client à l'instant 2, mais vous vous assurez d'inclure la satisfaction de l'utilisateur à l'instant 1 dans le modèle pour contrôler les niveaux de référence de cette variable. Voici les estimations de ce modèle ( Conseil JMP: Vous pouvez obtenir le paramétrage des indicateurs en sélectionnant cette option dans le menu triangle rouge du rapport d'analyse):
Figure 2. Résultats de l'analyse de covariance. Le résultat est la satisfaction du client au moment 2.
Sur la base de ces résultats, vous pouvez conclure que l'utilisation du produit de votre concurrent avant l'utilisation de votre entreprise a un effet! Il semble que la satisfaction actuelle de la clientèle soit nettement inférieure (environ 1,02 unité) à ceux qui ont utilisé le produit de votre concurrent avant d'utiliser le vôtre (votre responsable sera ravi de l'apprendre)! Le R-carré suggère également que ce n'est pas trivial; 80% de la variance dans vos résultats sont expliqués par les prédicteurs.
2) Mais attendez, pourquoi ne pas simplement faire un t- tester avec les scores de changement? Vous pouvez utiliser la plate-forme bivariée (Analyse -> Ajuster Y par X -> Moyens / Anova / Pooled t) en saisissant la colonne Changer la satisfaction client comme résultat et le Produit du concurrent utilisé comme variable de regroupement (cela revient à faire une variable à sens unique. ANOVA ou une régression linéaire simple avec la variable de regroupement comme prédicteur, et est également équivalente à un échantillon apparié t -test sur les scores T1 et T2 mais c’est un sujet pour un autre article de blog). Après tout, votre responsable a souligné son intérêt à comprendre comment la satisfaction de la clientèle changements . Jetons un coup d'œil aux estimations de ce modèle:
Figure 3. Résultats du test t sur les scores de changement.
Hmm… qu'est-ce qui s'est mal passé? Selon ce modèle (et je vous promets que je l'adapte au même tableau de données), il n'y a pas de différence significative dans l'évolution de la satisfaction de la clientèle par rapport à l'année précédente entre ceux qui ont utilisé le produit de votre concurrent et ceux qui ne l'ont pas utilisé. Encore plus frappant, le carré R près de zéro de ce modèle!
C'est le paradoxe de Lord: la possibilité d'arriver à des inférences complètement différentes basées sur les mêmes données, mais des modèles différents, qui semblent tous deux être appropriés. Découvrons donc ce qui se cache derrière ce puzzle, en commençant par tracer les données à l'aide de Graph Builder dans JMP:
Dévoiler le puzzle
La figure 4. Diagramme de dispersion de la satisfaction de la clientèle aux moments 1 et 2 par groupe (par exemple, si les clients ont utilisé le produit de votre concurrent). La ligne du meilleur ajustement par groupe et les intervalles de confiance à 95% sont également affichés. Notez que les scores de satisfaction de la clientèle de la première enquête (axe des x) sont systématiquement différents entre ceux qui utilisent le produit du concurrent et ceux qui ne l'utilisent pas. En fait, les clients qui utilisaient les produits de votre concurrent avant votre entreprise avaient au départ une satisfaction moindre (peut-être avaient-ils du mal à s'adapter à un nouveau produit), tandis que ceux qui n'utilisaient pas le produit de votre concurrent obtenaient une satisfaction plus élevée dès le départ. . Nous n'observons pas non plus les clients qui n'utilisaient pas le produit de votre concurrent et qui ont exprimé une grande satisfaction au moment 1.
Alors, pourquoi votre premier modèle indique-t-il un effet significatif, contrairement au deuxième modèle? Il s'avère que l'analyse de la covariance fait l'hypothèse implicite que votre échantillon provient de un population. Si les données provenaient réellement d'une population, nous considérons qu'il est inhabituel d'avoir des différences de moyenne de groupe au départ (car nous avons échantillonné au hasard dans la population) et nous nous attendrions à la moyenne de la deuxième enquête, pour ceux qui l'ont fait ou non. utilisez le produit de votre concurrent pour vous rapprocher de la grande moyenne (cet artefact statistique est appelé régression vers la moyenne ). Mais ici, la moyenne au sein de chaque groupe reste presque identique dans le temps, et pour que cela se produise - lorsque vous avez échantillonné une population - il doit exister une force (un effet) empêchant les moyens de se rapprocher les uns des autres. Cette «force» est l'effet identifié par l'analyse de la covariance. D'autre part, le t -test n'implique pas une telle hypothèse, et les résultats en tiennent compte dans l'effet nul. Peut-être que le tracé des données d’une manière différente peut illustrer cela plus loin….
La figure 5. La force qui empêche les trajectoires moyennes de régresser vers la grande moyenne est superposée au complot spaghetti. Nous pouvons voir que les individus ont peu changé avec le temps et que la tendance générale est également inchangée; ceux qui ont commencé faible / élevé sont restés faibles / élevés dans la satisfaction de leurs clients.
Donc, compte tenu de ce que nous savons maintenant, quelles informations allez-vous partager avec votre responsable? Signalerez-vous un effet de l'utilisation du produit de votre concurrent sur la satisfaction de la clientèle? Eh bien, si vous rencontrez un jour une telle situation dans la vie réelle, veillez à en lire davantage sur cette question (je l'ai certainement trop simplifiée ici); van Breukelen (2013) est un article utile.
Mais pour le moment, permettez-moi de préciser que vous ne seriez pas dans un tel pétrin si ces données avaient été recueillies dans le cadre d'une expérience conçue. L'attribution aléatoire est une caractéristique clé des expériences conçues qui nous permet d'assurer la variabilité due aux idiosyncrasies des clients est également répartie entre les groupes. C'est-à-dire que l'hypothèse sous-jacente que vous avez échantillonnée à partir d'une population dès le départ est satisfaite et que les deux modèles que je viens de décrire mènent aux mêmes conclusions (bien que l'analyse de covariance ait plus de pouvoir).
Points clés
Pour atténuer la confusion que ce sujet est connu pour susciter, je vous laisserai quelques points à retenir qui peuvent vous aider lorsque vous aborderez votre prochaine question axée sur les données:
- Exploit visualisation outils. Apprenez à connaître vos données avant d'ajuster un modèle. Nous savons souvent qu'il faut rechercher les valeurs aberrantes et les erreurs de saisie des données, mais nous nous souvenons également de rechercher les hypothèses du modèle.
- J'ai simulé les données pour cet exemple et vous pouvez accéder au fichier ici si vous êtes enclin à jouer vous-même. J'ai sans aucun doute créé un scénario dans lequel les différences entre les modèles sont frappantes. Cela facilite mon illustration des problèmes, mais cela ne signifie pas que vous ne rencontrerez probablement pas le paradoxe de Lord dans vos propres analyses avec des données réelles.
- Les données d'observation sont délicates. Rappelez-vous le dicton, la corrélation n'implique pas la causalité ? Quel que soit le modèle que vous jugez approprié pour vos données, aucun des deux ne vous dit si le produit de votre concurrent est à blâmer pour le niveau de satisfaction de vos clients.
- Utilisez le Conception d'expériences (DOE) outils dans JMP. Les problèmes que j'ai décrits ici ne se rencontrent que dans les études observationnelles. Les deux modèles ci-dessus arriveront à la même conclusion si vous menez une expérience contrôlée. Tant que vous pouvez assigner vos clients au hasard dans les différents groupes, vous devriez toujours préférer mener une expérience et la plate-forme DOE peut vous aider à le faire!
- Répliquer, répliquer, répliquer. Et si on avait donné ces données à deux analystes différents et que l’un correspond à une analyse de la covariance et t -tester? Cet article illustre l’une des nombreuses raisons pour lesquelles les nouvelles analyses pourraient ne pas reproduire les résultats précédents. Nous ne pouvons pas négliger l’importance de la réplicabilité. Ce point est essentiel, que vos données soient d'observation ou expérimentales. Si vous pouvez valider vos résultats avec un échantillon indépendant, faites-le. Et lorsque vous le faites, assurez-vous que votre approche d'analyse est alignée sur celle de l'étude initiale.
Ai-je suffisamment piqué votre intérêt pour continuer à lire sur ce sujet? Si oui, cherchez un prochain article dans lequel j'adapte un modèle d'effets mixtes linéaires à ces données.
Références
Lord, FM (1967). Un paradoxe dans l'interprétation des comparaisons de groupes. Bulletin psychologique, 68, 304-305.
van Breukelen, GJP (2013). ANCOVA versus CHANGEMENT par rapport aux valeurs initiales dans les études non randomisées: les différences. Recherche comportementale multivariée, 48, 895-922.
