T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T-tests are easy to run, but results can be confusing!T 檢定很容易運行，但結果可能會令人困惑！在我的之前的部落格文章，我概述了一個場景，其中工程師的任務是確定流程變化是否影響零件的強度。 工程師選擇將採用新處理（處理 A）的三個零件進行取樣，並與三個標準（對照）零件進行比較。 使用標準 t 檢定對結果進行分析，所得 p 值大於 0.05（95% 置信度）。 因此，新工藝被放棄。
在我作為工程師的職業生涯中，我多次看到這種情況，我認為工程師可能已經放棄了良好的流程改進。
我為什麼這麼說呢？ 首先，我認為由於缺乏對 t 測試的理解以及對我們想要實現的目標缺乏明確性，測試的計劃和執行可能很糟糕。 換句話說，處理 A 可能是滿足我們提高零件強度願望的可行解決方案！
讓我們看看 t 檢驗，我們可以從中得到什麼，以及結果經常被誤解。
我們可以從 t 檢定中得到什麼？
我們想用 t 檢定做什麼？ 工程師經常使用 t 檢定來嘗試偵測兩大組零件（或總體）的平均值（或平均值）之間的差異。 族群太大，我們無法測量所有部分，因此我們從每個族群中抽取有限數量的樣本，希望它們能代表整體。 但由於樣本量有限，樣本平均值幾乎總是與其父群體的平均值不同。 事實上，它們可能相距甚遠！ （例如，我們可能不小心從一個總體中抽取了三個高樣本，因此樣本平均值可能遠高於總體平均值。）僅比較樣本平均值肯定會產生誤導，因此我們應用一些統計數據（即 t-測試）以允許一些“肯塔基風阻”作為樣本手段的補償。
典型（且不知情）的 t 檢定解釋
在我們的場景中，工程師為每種類型的零件抽取了三個樣本。 （我們不知道他為什麼這樣做……也許這只是他公司的傳統。）我們告訴我們的軟體包已經收集了多少樣本，以及我們希望在結果。 然後，我們讓軟體執行 t 檢定計算，並得到「p 因子」。這個 p 因子評估我們是否應該「反駁原假設」。 （為什麼統計學家不能用簡單的英語交談，對吧？）在我們的場景中，為了獲得 95% 的置信度，我們需要一個小於 0.05 的 p 因子，但我們沒有實現這一點。 所以我們放棄了改進。
這種解釋的問題
置信水準、p 因子、零假設…這些都是統計術語，通常很難理解，並可能導致錯誤的結論。 讓我們用外行人的話來解釋。
- t 檢定（p 因子大於 0.05）告訴我們的是給定我們的樣本數據（包括樣本量），我們不能說95% 的確定性是兩個大群體的平均值存在差異。
- 什麼是t檢驗不是說就是人們擁有相同的手段！ 這是非常微妙但極其重要的！ 我們還無法證明它們是不同的，但它們實際上可能仍然是不同的！ 我們資料中的變異數（或雜訊）使得我們無法偵測到此測試中的差異。 但如果我們每個收集 5 個樣本（或 10 個或 100 個），也許我們就能偵測到差異！
因此，我看到的第一個錯誤是從失敗的（即高 p 因子）t 檢定得出總體平均值相同的結論。 請記住，T 檢定只能判斷總體平均數是否不同！
（我掩蓋的第二個錯誤是我們沒有明確定義結果需要什麼程度的置信度。95% 的置信度在工程領域是典型的，但在醫學研究等中通常需要更高的置信度。）
繼續下一個錯誤…
對您來說重要的差異是什麼？
回想一下，工程師開始實驗只是為了尋找兩個總體平均值之間是否存在差異。 但在大多數實際場景中，我們感興趣的是處理 A（在我們的範例中）是否至少比標準有一定程度的改善。 在我們的場景中，0.00001% 的力量提升對我們來說重要嗎？ 也許吧，但也可能不是。 1% 的改進對我們來說重要嗎？ 還是10%？
這種「重要差異」實際上可以歸結為客戶的聲音，因為（通常）必須根據客戶的需求以及客戶願意支付的費用來判斷流程改進。 它還可能涉及製作公司的其他幾個考慮因素。
在我們的場景中，沒有提到人口差異對我們來說意味著什麼。 事實上，我們甚至沒有明確表示我們希望治療 A 群體的平均值高於對照組！ （在這種情況下，顯然我們想要增加零件的強度，但也許零件設計過度，我們想要降低強度以節省成本。）無論我們尋求增加還是減少，也會影響到統計計算，因此指定這一點很重要。 在開始任何測試計劃之前，工程團隊以及管理階層需要確定哪些差異是重要的，以及是增加還是減少。
所以，我經常看到的第二個錯誤是沒有指定重要差異的大小，也沒有指定差異的方向（增加或減少）。
這些錯誤如何影響我們的測試場景？
如果我們考慮到這些點，我們可能會重新設計我們的檢驗，並得出關於治療A 的完全不同的結論。但由於我們缺乏關於t 檢驗的知識，並且我們對我們想要實現的目標的定義很差，我們放棄了治療 A 作為可行的解決方案。
我們將在下一篇部落格文章中更多地討論測試計劃的其他方面，最後提出完整的問題，這可以幫助避免許多此類錯誤。 我希望您能在大約一周內收看第 3 部分！
展望未來
我計劃在討論過程中討論以下所有主題。 希望你能和我一起整個系列！
- 佈置一個典型場景
- t 檢定真正告訴我們什麼？ （這篇）
- 其他測試注意事項，並提出完整的問題
- 您的儀表有能力嗎（如果沒有的話該怎麼辦）？
- 規劃和運行測試：從樣本大小到最佳實踐
- 分析結果（包括垃圾輸入 = 垃圾輸出）
- 最後總結
