Wie sind die Ergebnisse eines Experiments zu interpretieren, wenn sie während 2 Wochen statistisch signifikant sind und während 2 anderen Wochen nicht?Hallo,
Ich analysiere ein Experiment, bei dem die Testvariation für einige Ergebnisse während der 2. und 3. Woche mit einem Unterschied von 20-30 % statistisch signifikante Ergebnisse hatte, aber in den anderen 2 Wochen (1. und 4.) mit einem Unterschied von ~ 0 % unbedeutende Ergebnisse hatte. .
Wie kann ich die Interpretation dieser Beobachtungen ansprechen?
Welches ist die geeignete statistische Methode, um zu prüfen, ob die Differenz der Beobachtungen zwischen 2. + 3. und 1. + 4. gerade innerhalb der zufälligen Varianz liegt?
Können wir auf der Grundlage der Gesamtergebnisse dennoch eine gültige Schlussfolgerung für dieses Experiment ziehen?
Wir haben alle externen Faktoren überprüft, die die Ergebnisse beeinflussen könnten, und konnten keine finden.
Tabellenversion:
| | Versuche | Erfolgsschritt 1 | Diff | p-Wert | Erfolgsschritt 1, der über Schritt 3 berichtet | Diff | p-Wert | Erfolgsschritt 3 | Diff | p-Wert |
| | Prüfen | Kontrolle | Prüfen | Kontrolle | | | Prüfen | Kontrolle | | | Prüfen | Kontrolle | | |
| Wochen | | | | | | |
| 8. bis 14. März | 88358 | 89019 | 2585 | 2590 | -0,19 % | 0,5 | 1068 | 1038 | +3,6 % | 0,2 | 187 | 191 | -1,36 | 0,89 |
| 15.-21. März | 88407 | 88324 | 2656 | 2596 | +2,2 % | 0,2 | 1102 | 1037 | +6,17 % | 0,08 | 200 | 167 | +20 % | 0,04 |
| 22.-28. März | 90718 | 92135 | 2835 | 2763 | +4 % | 0,059 | 1277 | 1198 | +8.26 | 0,02 | 210 | 165 | +30 % | 0,006 |
| 29. März - 4. April | 91496 | 91613 | 2506 | 2521 | -0,4 | 0,57 | 1084 | 1139 | -4,7 % | 0,25 | 137 | 137 | 0,13 % | 0,5 |
| | | | | | | | | | | | | | | |
| Gesamt | 358979 | 361091 | 10582 | 10470 | 1,6 % | 0,11 | 4531 | 4412 | +3% | 0,06 | 734 | 660 | +11,8 % | 0,018 |
| | | | | | | | | | | | | | | |
| 1. + 4. Woche | 179854 | 180632 | 5091 | 5111 | +0,04 | 0,5 | 2152 | 2177 | -0,72 % | 0,8 | 324 | 328 | -0,79 % | 0,92 |
| 2. + 3. Woche | 179125 | 180459 | 5491 | 5359 | +3,23 % | 0,04 | 2379 | 2235 | +7,24 % | 0,017 | 410 | 332 | +24 % | 0,003 |
AnalytikDatentabelleDAMHIRSCHKUHBetreff: Wie sind Ergebnisse eines Experiments zu interpretieren, wenn sie während 2 Wochen statistisch signifikant sind und während 2 anderen Wochen nicht?Entschuldigung, ich habe jetzt keine Zeit, Ihre Daten in JMP einzugeben und einen Blick darauf zu werfen, aber im Allgemeinen scheinen Sie entweder einen Block-Effekt oder einen Block-by-Factor-Interaktionseffekt zu haben. Was Sie untersuchen möchten, ist: Warum unterscheiden sich die Ergebnisse zwischen den Wochen? Stellen Sie sicher, dass die Unterschiede zuerst den Sensibilitätstest bestehen. Variieren die Daten also ausreichend für eine weitere Analyse? Gibt es genügend Variationen in den Ys, um von praktischer Bedeutung zu sein? Fahren Sie dann mit der Analyse eines Blockdesigns fort (dies hängt davon ab, ob Sie die Blockeffekte als zufällig oder fest betrachten).
Blöcke, wie sie verwendet werden, um das Rauschen in einem Experiment zu unterteilen. Die Methode ist sehr nützlich, da Sie sowohl den Inferenzraum Ihres Experiments vergrößern können, ohne die Genauigkeit zu beeinträchtigen (und in einigen Fällen die Robustheit Ihres Modells bewerten können).
Betreff: Wie sind Ergebnisse eines Experiments zu interpretieren, wenn sie während 2 Wochen statistisch signifikant sind und während 2 anderen Wochen nicht?Danke schön! Ich werde dies vom Standpunkt des Blockdesigns aus untersuchen.
Ich habe Konfidenzintervalle für absolute und relative Effekte des letzten Y hinzugefügt (Erfolgsschritt 3).
Können wir aus diesen Daten schließen, dass die 2 anderen Wochen desselben Experiments nur ein Ergebnis der Variation sind, weil sich die KIs der relativen Effekte überschneiden? Wenn ja, können wir vielleicht damit einverstanden sein, dass 2 Wochen unterschiedliche Ergebnisse zeigen, da dies ein Online-Verhaltensexperiment ist.
