Comment interpréter les résultats d'une expérience où ils sont statistiquement significatifs pendant 2 semaines et ne le sont pas pendant 2 autres semaines ?Bonjour,
J'analyse une expérience où la variation de test a eu des résultats statistiquement significatifs pour certains résultats au cours des 2e et 3e semaines avec une différence de 20 à 30 %, mais a eu des résultats insignifiants pour les 2 autres semaines (1ère et 4e) avec une différence d'environ 0 % .
Comment puis-je aborder l'interprétation de ces observations?
Quelle est la méthode statistique appropriée à choisir pour vérifier si la différence d'observations entre 2e + 3e et 1er + 4e est juste à l'intérieur de la variance aléatoire ?
Pouvons-nous encore tirer une conclusion valable pour cette expérience sur la base des résultats totaux ?
Nous avons vérifié tous les facteurs externes qui pourraient influencer les résultats et nous n'en avons trouvé aucun.
Version tableau :
| | Essais | Réussir l'étape 1 | Différence | valeur p | Réussite de l'étape 1 qui rend compte de l'étape 3 | Différence | valeur p | Réussir l'étape 3 | Différence | valeur p |
| | Test | Contrôle | Test | Contrôle | | | Test | Contrôle | | | Test | Contrôle | | |
| Semaines | | | | | | |
| 8-14 mars | 88358 | 89019 | 2585 | 2590 | -0,19% | 0,5 | 1068 | 1038 | +3,6% | 0,2 | 187 | 191 | -1,36 | 0,89 |
| 15-21 mars | 88407 | 88324 | 2656 | 2596 | +2,2% | 0,2 | 1102 | 1037 | +6,17% | 0,08 | 200 | 167 | +20% | 0,04 |
| 22-28 mars | 90718 | 92135 | 2835 | 2763 | +4% | 0,059 | 1277 | 1198 | +8.26 | 0,02 | 210 | 165 | +30% | 0,006 |
| 29 mars - 4 avril | 91496 | 91613 | 2506 | 2521 | -0,4 | 0,57 | 1084 | 1139 | -4,7% | 0,25 | 137 | 137 | 0,13 % | 0,5 |
| | | | | | | | | | | | | | | |
| Total | 358979 | 361091 | 10582 | 10470 | 1,6 % | 0,11 | 4531 | 4412 | +3% | 0,06 | 734 | 660 | +11,8% | 0,018 |
| | | | | | | | | | | | | | | |
| 1ère + 4ème semaines | 179854 | 180632 | 5091 | 5111 | +0,04 | 0,5 | 2152 | 2177 | -0,72% | 0,8 | 324 | 328 | -0,79% | 0,92 |
| 2ème + 3ème semaines | 179125 | 180459 | 5491 | 5359 | +3,23% | 0,04 | 2379 | 2235 | +7,24% | 0,017 | 410 | 332 | +24% | 0,003 |
AnalytiqueTableau de donnéesBICHERe : Comment interpréter les résultats d'une expérience où ils sont statistiquement significatifs pendant 2 semaines et ne le sont pas pendant 2 autres semaines ?Je m'excuse, je n'ai pas le temps pour le moment de saisir vos données dans JMP et d'y jeter un coup d'œil, mais, en général, vous semblez avoir soit un effet de blocage, soit un effet d'interaction blocage par facteur. Là où vous voudriez enquêter, c'est : pourquoi les résultats sont-ils différents d'une semaine à l'autre ? Assurez-vous que les différences passent d'abord le test de sensibilité. Autrement dit, les données varient-elles suffisamment pour une analyse plus approfondie. Y a-t-il suffisamment de variation dans les Y pour avoir une importance pratique ? Procédez ensuite à l'analyse d'une conception de bloc (cela varie selon que vous considérez les effets de bloc comme aléatoires ou fixes).
Blocs utilisés pour partitionner le bruit dans une expérience. La méthode est très utile car vous pouvez profiter des avantages de l'augmentation de l'espace d'inférence de votre expérience sans compromettre la précision (et, dans certains cas, évaluer la robustesse de votre modèle).
Re : Comment interpréter les résultats d'une expérience où ils sont statistiquement significatifs pendant 2 semaines et ne le sont pas pendant 2 autres semaines ?Merci! Je vais examiner cela du point de vue de la conception des blocs.
J'ai ajouté des intervalles de confiance pour les effets absolus et relatifs du dernier Y (étape de réussite 3).
Pouvons-nous conclure de ces données que parce que les IC des effets relatifs se chevauchent, les 2 autres semaines de la même expérience ne sont que le résultat d'une variation ? Si c'est le cas, peut-être que nous pouvons être d'accord avec ces 2 semaines montrant des résultats différents, car il s'agit d'une expérience comportementale en ligne.
