Haben Sie jemals dieselben Daten mit zwei unterschiedlichen, aber geeigneten Modellen analysiert, die zu völlig unterschiedlichen Schlussfolgerungen führten? Dann bist du vielleicht darauf gestoßen Paradox des Herrn (Lord, 1967).
Lord's Paradox (Lord, 1967) ist seit Jahrzehnten ein Rätsel für Forscher! Vor allem diejenigen, die in Bereichen arbeiten, in denen geplante Experimente nicht möglich sind (denken Sie, Psychologen, die Erziehung studieren und Kinder nicht zufällig guten und schlechten Eltern zuordnen können).
Wie kann das also passieren? Ich werde mit einem Beispiel erklären.
Die Einrichtung
Stellen Sie sich vor, Sie sind ein neu eingestellter Datenanalyst eines aufstrebenden Start-up-Unternehmens. Ihr Vorgesetzter ist bestrebt, Sie an Bord zu holen, damit Sie Erkenntnisse aus einem kürzlich von ihr gesammelten Datensatz gewinnen können. Sie möchte, dass Sie untersuchen, wie sich die Kundenzufriedenheit im ersten Jahr des Unternehmens verändert hat.
Sie befragte 100 Kunden, als das Unternehmen anfing, und befragte sie vor ein paar Wochen (ein Jahr später) erneut. Sie kümmert sich insbesondere um die bisherigen Erfahrungen der Kunden mit dem Produkt eines wichtigen Wettbewerbers und darum, ob sich dies auf die Veränderung der Kundenzufriedenheit im ersten Geschäftsjahr auswirkt. Nachdem Sie die Daten erhalten haben, äußert Ihr Manager den Wunsch, sich so schnell wie möglich mit Ihnen zu treffen, um mehr über Ihre Ergebnisse zu erfahren. Sie verwenden JMP So öffnen Sie die Datei:
Abbildung 1. Simulierte Daten zur Kundenzufriedenheit. Geben Sie in den Kommentaren unten an, welche Analyse Sie durchführen möchten.
Sie haben Informationen darüber, ob ein Kunde das Produkt Ihres Konkurrenten verwendet hat (oder nicht), bevor Sie Ihr Produkt verwenden. Sie haben auch Kundenzufriedenheit ab dem Start des Unternehmens (zum Zeitpunkt 1 oder T1) und ein Jahr später (vor ein paar Wochen oder T2), und Sie haben die Spalte "Änderung der Kundenzufriedenheit", was einfach der Unterschied ist zwischen T2 - T1. Sieht aus wie ein einfaches Projekt!
Sie können diese Daten auf verschiedene Arten analysieren, lassen Sie mich jedoch auf zwei Möglichkeiten aufmerksam machen:
1) Wie wäre es mit einem Analyse der Kovarianz (auch bekannt als Residentialized Change Model)? Sie können die Fit Model-Plattform in JMP (Analysieren -> Fit Model: Standard Least Squares Personality) mit der Kundenzufriedenheit zum Zeitpunkt 2 als Ergebnis verwenden. Sie würden die Gruppierungsvariable Used Competitor's Product als Prädiktor und Customer Satisfaction zum Zeitpunkt 1 als Kovariate angeben (beides würde als „Construct Model Effects“ hinzugefügt). Ihr Hauptinteresse gilt der potenziellen Auswirkung der Gruppierungsvariablen auf die Kundenzufriedenheit zum Zeitpunkt 2, Sie müssen jedoch die Kundenzufriedenheit zum Zeitpunkt 1 in das Modell einbeziehen, um die Basiswerte für diese Variable zu steuern. Hier sind die Schätzungen von diesem Modell ( JMP-Tipp: Sie können die Indikatorparametrierung erhalten, indem Sie diese Option im Menü des roten Dreiecks des Analyseberichts auswählen.
Figur 2. Ergebnisse aus der Analyse der Kovarianz. Ergebnis ist die Kundenzufriedenheit zum Zeitpunkt 2.
Anhand dieser Ergebnisse können Sie den Schluss ziehen, dass das Produkt Ihres Mitbewerbers bereits vor dem Einsatz Ihres Unternehmens verwendet wurde! Es sieht so aus, als ob die aktuelle Kundenzufriedenheit bei denjenigen, die das Produkt Ihres Konkurrenten vor der Verwendung Ihres Produkts verwendet haben, erheblich niedriger ist (um etwa 1,02 Einheiten) (Ihr Manager wird begeistert sein, dies zu erfahren)! Das R-Quadrat legt auch nahe, dass dies nicht trivial ist; 80% der Varianz in Ihrem Ergebnis erklären die Prädiktoren.
2) Aber warte, wie wäre es einfach ein t- Prüfung mit den Änderungsergebnissen? Sie können die bivariate Plattform (Analysieren -> Y durch X anpassen -> Mittel / Anova / Zusammengefasst t) verwenden, indem Sie als Ergebnis die Spalte Kundenzufriedenheit ändern und als Gruppierungsvariable das Produkt des verwendeten Konkurrenten eingeben (dies entspricht einer Einbahnstraße) Eine ANOVA oder eine einfache lineare Regression mit der Gruppierungsvariablen als Prädiktor und entspricht auch einer gepaarten Stichprobe t -Test auf die T1- und T2-Punkte, aber das ist ein Thema für einen anderen Blog-Beitrag). Immerhin hat Ihre Managerin ihr Interesse am Verständnis der Kundenzufriedenheit unterstrichen Änderungen . Werfen wir einen Blick auf die Schätzungen dieses Modells:
Figur 3. Ergebnisse des t-Tests zu Änderungsergebnissen.
Hmm ... was ist falsch gelaufen? Gemäß diesem Modell (und ich verspreche Ihnen, dass ich es an dieselbe Datentabelle anpasse) gibt es keinen signifikanten Unterschied darin, wie sich die Kundenzufriedenheit im vergangenen Jahr zwischen denen, die das Produkt Ihres Konkurrenten verwendeten, und denen, die dies nicht taten, verändert hat. Noch auffälliger ist das nahezu Null-Quadrat dieses Modells!
Dies ist das Paradoxon des Herrn: Die Möglichkeit, auf der Grundlage der gleichen Daten und doch unterschiedlicher Modelle zu völlig unterschiedlichen Schlussfolgerungen zu gelangen, die beide als angemessen erscheinen. Lassen Sie uns herausfinden, was hinter diesem Rätsel steckt, indem Sie die Daten mit Graph Builder in JMP zeichnen:
Das Puzzle enthüllen
Figur 4. Streudiagramm der Kundenzufriedenheit zum Zeitpunkt 1 und 2 nach Gruppe (dh ob Kunden das Produkt Ihres Konkurrenten verwendet haben). Die Linie der besten Übereinstimmung nach Gruppe und die 95% -Konfidenzintervalle werden ebenfalls angezeigt. Beachten Sie, dass die Kundenzufriedenheitswerte aus der ersten Umfrage (x-Achse) sich systematisch von denen unterscheiden, die das Produkt des Mitbewerbers verwendet haben, und von denen, die dies nicht getan haben. Tatsächlich hatten Kunden, die das Produkt Ihres Konkurrenten vor der Einführung Ihres Unternehmens verwendet hatten, zunächst eine geringere Kundenzufriedenheit (möglicherweise hatten sie Schwierigkeiten, sich auf ein neues Produkt einzustellen), und diejenigen, die das Produkt Ihres Konkurrenten nicht verwendeten, von Anfang an eine höhere Kundenzufriedenheit . Wir beobachten auch keine Kunden, die das Produkt Ihres Mitbewerbers nicht verwendet haben und zum Zeitpunkt 1 eine hohe Zufriedenheit meldeten.
Warum weist Ihr erstes Modell auf einen signifikanten Effekt hin, während das zweite Modell dies nicht tut? Es stellt sich heraus, dass die Analyse der Kovarianz implizit davon ausgeht, dass Ihre Probe stammt ein Population. Wenn die Daten wirklich von einer Population stammen, halten wir es für ungewöhnlich, dass es zu Beginn Unterschiede im Gruppenmittel gibt (weil wir zufällig eine Stichprobe aus der Population gezogen haben), und wir erwarten, dass die zweite Erhebung für diejenigen gilt, die dies taten und nicht taten Verwenden Sie das Produkt Ihres Konkurrenten, um näher an den Mittelwert heranzukommen (dieses statistische Artefakt ist bekannt als Regression zum Mittelwert ). Aber hier bleibt der Mittelwert innerhalb jeder Gruppe über die Zeit nahezu identisch, und damit dies geschieht - wenn Sie eine Stichprobe einer Population entnommen haben -, muss es eine Kraft (dh einen Effekt) geben, die verhindert, dass sich die Mittelwerte näher kommen. Diese "Kraft" ist der Effekt, den die Analyse der Kovarianz identifiziert. Auf der anderen Seite die t -test beinhaltet keine solche Annahme, und die Ergebnisse spiegeln dies im Null-Effekt wider. Vielleicht können Sie die Daten auf eine andere Art und Weise grafisch darstellen.
Abbildung 5. Die Spaghetti-Zeichnung wird mit der Kraft überlagert, die die Mittelwert-Trajektorien davon abhält, sich zum großen Mittelwert zurückzuziehen. Wir können sehen, dass sich Einzelpersonen im Laufe der Zeit kaum verändert haben und der allgemeine Trend sich ebenfalls nicht verändert hat. diejenigen, die niedrig / hoch anfingen, blieben niedrig / hoch in ihrer Kundenzufriedenheit.
Welche Erkenntnisse werden Sie nach dem heutigen Kenntnisstand mit Ihrem Vorgesetzten teilen? Berichten Sie, dass die Kundenzufriedenheit durch die Verwendung des Produkts Ihres Mitbewerbers beeinträchtigt wurde? Wenn Sie jemals mit einer solchen Situation im wirklichen Leben konfrontiert sind, lesen Sie mehr zu diesem Thema (ich habe es hier sicherlich zu stark vereinfacht). ein hilfreicher Artikel ist van Breukelen (2013).
Lassen Sie mich jedoch zunächst klarstellen, dass Sie sich nicht in einer solchen Situation befinden würden, wenn diese Daten im Rahmen eines geplanten Experiments gesammelt worden wären. Die zufällige Zuordnung ist ein Schlüsselmerkmal der geplanten Experimente, mit denen wir sicherstellen können, dass die Variabilität aufgrund der Eigenheiten der Kunden gleichmäßig auf die Gruppen verteilt ist. Das heißt, die zugrunde liegende Annahme, dass Sie von Anfang an eine Stichprobe aus einer Population gezogen haben, würde erfüllt, und die beiden hier beschriebenen Modelle werden zu denselben Schlussfolgerungen führen (obwohl die Analyse der Kovarianz mehr Macht hat).
Wichtige Punkte
Um die Verwirrung zu lindern, die dieses Thema bekanntermaßen hervorruft, hinterlasse ich Ihnen einige Take-Home-Punkte, die Ihnen bei der Beantwortung Ihrer nächsten datengetriebenen Frage helfen können:
- Ausbeuten Visualisierung Werkzeuge. Machen Sie sich vor dem Anpassen eines Modells mit Ihren Daten vertraut. Oft wissen wir, dass wir nach Ausreißern und Fehlern bei der Dateneingabe suchen müssen, aber wir müssen auch nach Modellannahmen suchen.
- Ich habe die Daten für dieses Beispiel simuliert, und Sie können hier auf die Datei zugreifen, wenn Sie dazu neigen, selbst damit zu spielen. Zweifellos habe ich ein Szenario geschaffen, in dem die Unterschiede zwischen den Modellen auffällig sind. Dies erleichtert mir die Veranschaulichung der Probleme, bedeutet jedoch nicht, dass Sie Lords Paradox bei Ihren eigenen Analysen mit realen Daten wahrscheinlich nicht begegnen.
- Beobachtungsdaten sind schwierig. Erinnere dich an das Sprichwort: Korrelation impliziert keine Kausalität ? Unabhängig davon, welches Modell Ihrer Meinung nach für Ihre Daten geeignet ist, gibt keines Auskunft darüber, ob das Produkt Ihres Mitbewerbers für die Zufriedenheit Ihrer Kunden verantwortlich ist.
- Verwenden Sie die Versuchsplanung (DOE) Werkzeuge in JMP. Die hier beschriebenen Probleme treten nur in Beobachtungsstudien auf. Beide Modelle oben führen zu derselben Schlussfolgerung, wenn Sie ein kontrolliertes Experiment durchführen. Solange Sie Ihre Kunden zufällig in die verschiedenen Gruppen einteilen können, sollten Sie es immer vorziehen, ein Experiment durchzuführen, und die DOE-Plattform kann Ihnen dabei helfen!
- Replizieren, replizieren, replizieren. Was wäre, wenn wir diese Daten an zwei verschiedene Analysten weitergegeben hätten und einer eine Analyse der Kovarianz und der andere eine t -Prüfung? Dieser Beitrag zeigt einen von vielen Gründen, warum neue Analysen frühere Ergebnisse möglicherweise nicht replizieren. Wir können die Bedeutung der Reproduzierbarkeit nicht übersehen. Dieser Punkt ist wichtig, unabhängig davon, ob Ihre Daten beobachtend oder experimentell sind. Wenn Sie Ihre Ergebnisse mit einer unabhängigen Stichprobe validieren können, führen Sie diese durch. Wenn Sie dies tun, stellen Sie sicher, dass Ihr Analyseansatz mit dem der ursprünglichen Studie übereinstimmt.
Habe ich Ihr Interesse geweckt, um weiter über dieses Thema zu lesen? Wenn ja, suchen Sie nach einem bevorstehender Beitrag in dem ich diesen Daten ein lineares Mischeffektmodell anpasse.
Verweise
Lord, FM (1967). Ein Paradoxon bei der Interpretation von Gruppenvergleichen. Psychologisches Bulletin, 68, 304-305.
van Breukelen, GJP (2013). ANCOVA versus CHANGE vom Ausgangswert in nicht randomisierten Studien: Die Unterschiede. Multivariate Verhaltensforschung, 48, 895-922.
