顯著性雙樣本檢驗比例但不顯著卡方大家好
我正在處理來自一些通過-失敗測試的數據，在這些測試中，觀察到一些分組為左右的樣本的性能差異。 我正在嘗試分析這是真正的差異還是由於統計方差造成的變化。 我通過使用 JMP 中的列聯分析（Fit X by Y）框架來做到這一點。
問題是我對結果有點困惑，如下所示。 假設置信度為 95%，卡方檢驗顯示通過和失敗設備的比率似乎不依賴於它們是左樣本還是右樣本。
現在，如果我還對比例執行雙樣本測試以測試右側樣本的通過概率是否低於或等於左側通過的次數，我發現我可以拒絕這個假設，這意味著右側通過側面樣品更高。
我知道這兩個測試測試了不同類型的假設，但在我看來，這些結論相互矛盾。
最後，查看兩個樣本測試，我發現對於差異 P(pass|right)-P(pass|left)，置信區間從 -0.7% 到 9.4%，這讓我感到驚訝，這似乎與得出的結論相矛盾上面的兩個樣本測試。 這個區間內的所有值不應該大於或等於零嗎？
歡迎所有意見和建議，以幫助我理解所有這些偉大的工具。 
分析視窗回复：顯著的比例雙樣本檢驗但不顯著的卡方檢驗這是一個技術上正確的結論，但我更願意避免二分法思維。不確定性往往會消失——我認為置信區間更有用，因為它顯示了來自這個特定樣本的結論的不確定性。此外，雖然我們通常對差異的方向更感興趣（而不是測試差異是否實際上為零），但傳統的做法是查看雙側假設檢驗（如果您必須進行檢驗）。在這種情況下，結果看起來相當微不足道，如果不更清楚地說明潛在錯誤（類型 1 和類型 2 錯誤）所涉及的成本，我不會根據這些結果做出任何真正的決定。
回复：顯著的比例雙樣本檢驗但不顯著的卡方檢驗謝謝戴爾。
但是你會說根據當時顯示的結果得出左側類型設備更容易發生故障的結論是正確的嗎？
按照這個邏輯：
HA：P（通過|右）- P（通過|左）> 0
H0: P(通過|右) - P(通過|左) ≤ 0
顯著性：0.0455
給定 95% 的置信水平，我們可以拒絕原假設並接受替代假設，即更有可能正確的鍵入設備經過比左式設備。 反之亦然，它更有可能剩下鍵入設備失敗比正確的類型設備
回复：顯著的比例雙樣本檢驗但不顯著的卡方檢驗兩個樣本檢驗顯示包含零的置信區間 - 這與假設檢驗一致，因為它是您要與之比較的雙邊檢驗。在這兩種情況下，根據 5% 的置信度，您不能拒絕相等假設。卡方結果和 Wald 檢驗之間的差異需要比我有更深統計知識的人。但我會注意到數字相差不大，而且我還會注意到卡方檢驗有許多替代結果（同樣，這需要比我更深入的知識來解釋差異）。我不希望得到相同的數值結果，但我發現它們在質量上非常相似。
