統計新手：如果我多次進行等價測試，那是 P-hacking 嗎？大家好，
我是統計新手，在這裡真的需要你的幫助。
我的問題是：如果我多次進行等效測試以找到 2 個 p 值 < 5% 的等效限制，那是否可以。
我有 2 組數據，如下所示，我想測試它們是否相同或不同。
第一步我做了 t 檢驗 & Pvalue> 5% 意味著我沒有拒絕 H0 (Test= ref)。 對定義我的下一步行動沒有太大幫助。
所以我做了一個等效測試，等效限制為 +/-0.1 作為實際範圍
但是結果又不是很好。 我只能得出結論，我的測試組高於 REF 0.1 單位或更低。
對於接下來的操作，仍然不是一個足夠有用的結果
所以我增加了幾次，直到達到等效極限 0.16 單位並且有 2 個 P 值 <5%
我可以將結果解釋為 2 組在 0.16 單位範圍內相等。
這意味著我的 TEST 組可以高於/低於 REF +/- 0.16 單位。 （或者也可以相等）
所以我可以估計最好的情況，如果這個 0.16 單位的電流高於或低於我的下一步行動是可以的。
我的結論正確嗎？ & 我可以這樣做嗎？還是我是 P-hacking？
只是一個統計新手需要你的幫助。
謝謝大家
分析回复：統計新手：如果我多次進行等效測試，那是 P-hacking 嗎？你好@Justin_Bui ,
這是個好問題。 但是除了 p-hacking，我認為您誤解了等效性測試。 這些事情令人困惑，我知道！
您最後一個案例中的低 p 值告訴您這兩組實際上是等效的。 估計差異周圍的置信範圍在 +/- 0.16 的實際範圍內。
幫助文檔對於這個測試應該是有用的。
希望這會有所幫助，
菲爾
回复：統計新手：如果我多次進行等效測試，那是 P-hacking 嗎？添加到@Phil_Kay ，你應該有一個明確的、定義明確的問題或你要執行的測試的目的。 您的示例是 p-hacking 的案例。 這些測試中只有一項與您的目的相關。 在找到有利的結果之前，您不應該應用超過一項測試。 一個測試就足夠了，無論哪種方式你都接受答案。
假設您進行了更改，希望有所改進。 然後，您想對顯著差異進行測試。 （零假設或“魔鬼的擁護者”是沒有變化或改進。）您的第一個比較是這種測試的一個例子。
相反，也許您進行了更改，但希望它沒有任何區別。 就像用舊設備交換新設備一樣，希望繼續看到相同的結果。 然後，您想對重要或實際等效項使用測試。 你的第二對比較就是這種測試的一個例子。
風險等級通常是事先確定的。 在執行測試時調整實際差異或顯著性水平也是一種 p-hacking。
回复：統計新手：如果我多次進行等效測試，那是 P-hacking 嗎？謝謝菲爾的分享
