如何解释在 2 周内具有统计显着性而在其他 2 周内不显着的实验结果？你好，
我正在分析一个实验，其中测试变异在第 2 周和第 3 周对某些结果具有统计上显着的结果，差异为 20-30%，但在其他 2 周（第 1 周和第 4 周）的结果不显着，差异约为 0% .
我该如何解决对这些观察结果的解释？
选择什么合适的统计方法来检查 2nd+3 和 1st+4 之间的观察差异是否在随机方差内？
我们还能根据总的结果对这个实验做出有效的结论吗？
我们已经检查了任何可能影响结果的外部因素，但找不到。
表格版本：
| | 试炼 | 成功第一步 | 差异 | p值 | 报告第 3 步的成功第 1 步 | 差异 | p值 | 成功第 3 步 | 差异 | p值 |
| | 测试 | 控制 | 测试 | 控制 | | | 测试 | 控制 | | | 测试 | 控制 | | |
| 周 | | | | | | |
| 3 月 8-14 日 | 88358 | 89019 | 2585 | 2590 | -0.19% | 0.5 | 1068 | 1038 | +3.6% | 0.2 | 187 | 191 | -1.36 | 0.89 |
| 3 月 15-21 日 | 88407 | 88324 | 2656 | 2596 | +2.2% | 0.2 | 1102 | 1037 | +6.17% | 0.08 | 200 | 167 | +20% | 0.04 |
| 3 月 22-28 日 | 90718 | 92135 | 2835 | 2763 | +4% | 0.059 | 1277 | 1198 | +8.26 | 0.02 | 210 | 165 | +30% | 0.006 |
| 3月29日-4月4日 | 91496 | 91613 | 2506 | 2521 | -0.4 | 0.57 | 1084 | 1139 | -4.7% | 0.25 | 137 | 137 | 0.13% | 0.5 |
| | | | | | | | | | | | | | | |
| 全部的 | 358979 | 361091 | 10582 | 10470 | 1.6% | 0.11 | 4531 | 4412 | +3% | 0.06 | 734 | 660 | +11.8% | 0.018 |
| | | | | | | | | | | | | | | |
| 第一周和第四周 | 179854 | 180632 | 5091 | 5111 | +0.04 | 0.5 | 2152 | 2177 | -0.72% | 0.8 | 324 | 328 | -0.79% | 0.92 |
| 第 2 + 第 3 周 | 179125 | 180459 | 5491 | 5359 | +3.23% | 0.04 | 2379 | 2235 | +7.24% | 0.017 | 410 | 332 | +24% | 0.003 |
分析数据表美国能源部回复：如何解释在 2 周内具有统计显着性而在其他 2 周内不显着的实验结果？抱歉，我现在没有时间将您的数据输入 JMP 并查看，但总的来说，您似乎有块效应或逐因子交互效应。 您想要调查的地方是：为什么不同周的结果不同？ 确保差异首先通过敏感性测试。 也就是说，数据变化是否足以进行进一步分析。 Y 是否有足够的变化以具有实际重要性？ 然后，继续分析 Block 设计（这取决于您认为 Block 效应是随机的还是固定的）。
用于在实验中划分噪声的块。 该方法非常有用，因为您可以在不影响精度的情况下增加实验的推理空间（并且在某些情况下，评估模型的稳健性）。
回复：如何解释在 2 周内具有统计显着性而在其他 2 周内不显着的实验结果？谢谢你！ 我将从 Block 设计的角度来研究这个问题。
我为最后一个 Y（成功步骤 3）的绝对和相对效果添加了置信区间。
我们能否从这些数据中得出结论，因为相对效应的置信区间重叠，所以同一实验的其他 2 周只是变异的结果？ 如果是这样，也许我们可以接受这 2 周显示不同的结果，因为这是一个行为在线实验。
