统计新手：如果我多次进行等价测试，这是不是 P-hacking？大家好，
我是统计新手，真的需要你的帮助。
我的问题是：如果我多次进行等价检验以找到 2 个 p 值 < 5% 的等效极限，这样可以吗？
我有如下两组数据，我想测试它们是否相同或不同。
第一步我做了 t 检验 & Pvalue> 5% 意味着我未能拒绝 H0（测试 = 参考）。 对于定义我的下一步行动并没有多大帮助。
所以我做了一个等效测试，以+/-0.1的等效极限作为实际范围
但结果又不太好。 我只能得出结论，我的测试组高于 REF 0.1 单位或更低。
对于下一步行动来说，结果仍然不够有用
所以我增加了几次，直到达到等效限制 0.16 单位并且 2 个 P 值 <5%
我可以将结果解释为 2 组在 0.16 单位范围内相等。
这意味着我的测试组可以高于/低于 REF +/- 0.16 单位。 （或者也可以相等）
因此，如果电流升高或降低 0.16 个单位适合我的下一步操作，我可以估计最好的情况。
我的结论正确吗？ & 我可以这样做吗？或者我是P黑客吗？
只是统计新手需要您的帮助。
谢谢大家
数据混合和清理回复：统计新手：如果我多次进行等价测试，这是不是 P-hacking？感谢菲尔的分享回复：统计新手：如果我多次进行等价测试，这是不是 P-hacking？添加到@菲尔_凯，您应该对要执行的测试有一个清晰、明确的问题或目的。 你的例子是 p-hacking 的案例。 这些测试中只有一项与您的目的相关。 在找到满意的结果之前，您不应进行多次测试。 一次测试就足够了，无论哪种方式你都接受答案。
假设您进行了更改，希望有所改进。 然后你想使用显着性差异检验。 （零假设或“魔鬼拥护者”是指没有变化或改进。）您的第一个比较是此类测试的一个示例。
相反，也许您做出了改变，但希望这不会产生任何影响。 就像用旧设备更换新设备一样，希望继续看到相同的结果。 然后您想要使用显着或实际等效性的测试。 第二对比较是此类测试的一个示例。
风险级别通常是预先确定的。 在执行测试时调整实际差异或显着性水平也是某种 p-hacking。
回复：统计新手：如果我多次进行等价测试，这是不是 P-hacking？你好@Justin_Bui ,
这是一个好问题。 但撇开 p-hacking 不谈，我认为你误解了等价测试。 我知道这些事情令人困惑！
最后一个案例中的低 p 值告诉您这两个组实际上是相等的。 估计差异的置信区间在 +/- 0.16 的实际范围内。
帮助文档对于这个测试应该是有用的。
希望这有帮助，
菲尔
