我們都聽過別人說一些不「正確」的話。有時你會選擇不去理會，要嘛是因為這件事不值得質疑，要嘛是因為你不想與說話的人發生衝突。
這是一系列我認為「令人尷尬」的統計數據中的第一條。我最初將這些統計數據發佈在社區討論區是為了徵求大家的回饋。很高興你們中的一些人（感謝社區成員@dale_lehman 、 @P_Bartell 、 @statman 、 @他們 、 @Georg和@brady_brady ）給出了非常深刻且富有洞察力的回應。請繼續討論！請找到我今天發布的第二個“令人尷尬的統計數據”討論！
請繼續閱讀，了解我對為什麼這第一句話令人尷尬的看法。
介紹
在統計學領域，我最討厭的事情之一就是與假設檢定相關的最基本的陳述。通常，如果t檢定（或方差分析）的p因子相對較高，統計學家/分析師會說：“p>0.05，所以我們無法證明兩個總體的均值不同。因此，我們得出結論，總體均值相同。”
陳述的前半部是正確的。如果 p>0.05（而且我們尋求 95% 的置信度，而樣本來自常態分佈的總體，等等），那麼我們就不能得出兩個總體的平均值不同的結論。
但這並不意味著兩個總體的平均值相同！我常聽到這種說法，即使是那些本該更了解情況的人也會這麼說。很容易就陷入這種錯誤的結論。如果聽者不熟悉統計學，這可能會造成損害！
一個簡單的例子：男性與女性的平均身高
舉個簡單的例子，假設我們想確定成年男性的身高是否與成年女性的身高不同。由於資源有限，本次測試只能測量三名男性和三名女性的身高。我們在街上隨機攔下三名男性和三名女性，測量他們的身高（如下圖）：
我們使用JMP的「以 X 擬合 Y」平台執行 t 檢驗，比較兩個樣本的平均值。結果 p 值為 0.7096。假設我們希望結論的置信度達到 95%，由於 p>0.05，我們得出結論，無法 95% 地確定樣本來自均值不同的總體。換句話說，基於這個樣本，我們不能斷言男性的平均身高與女性不同。
但這並不意味著男性和女性的平均身高相同。 （你可以查一下…根據《今日醫學新聞》的報道，2017年男性平均身高為67吋。而根據克里夫蘭診所的數據，2018年女性平均身高為64吋。）
為什麼會發生這種情況？為什麼t檢定不能證明男性（平均）比女性高？這是因為抽樣問題。我們無法測量所有男性和女性，所以我們選擇在本次檢定中分別只抽取三名。我們碰巧選擇了三名身高接近平均水平的男性，但隨機選擇的三名女性恰好比平均身高略高。再加上測量值的極差，導致男女真實平均身高有相當大的不確定性，因此p值較高。
這是一件「大事」嗎？
是的，我相信這確實很重要！我們舉一個更實際的工業例子。假設您有一台機器，用於將粉末填充到小瓶中。您的公司想要擴大產能，所以您購買了第二台機器。您需要確保機器 B 的填充重量與機器 A 相同。
你做了一個快速測試，從機器 A 和機器 B 各取了幾個小瓶樣品，然後進行了 t 檢驗。結果顯示 p 值為 0.35。你應該去找老闆說兩台機器的灌裝量都一樣嗎？不！如果你這樣做，你可能會犯錯。如果機器 B 的所有小瓶的平均填充重量實際上都高於機器 A，那麼你贈送「免費」物料就是在浪費公司的錢。如果機器 B 的平均填充重量實際上低於機器 A，那麼你可能會讓客戶不滿意。
我們能做些什麼呢？
如果你希望平均值更確定，可以增加樣本量。這也能讓男性和女性身高的比較結果更準確。但你仍然只能斷言這兩個群體要么被證明存在差異，要么沒有被證明存在差異。你並沒有得出他們「相同」的結論。
您也可以進行等價性檢定（涉及多個 t 檢定）。如果您有興趣，我建議您點擊此處以了解更多資訊。至於等價性檢驗，我暫且不談，因為這超出了本文的討論範圍。
結論
所以，關鍵在於，雖然你可以用t檢定（或變異數分析）來證明某些事物有差異，但你無法（至少單獨使用）用它來證明某些事物是相同的。請務必謹慎使用你的術語和結論，以免在應用中犯錯！
如果你以前說過這些話，也別難過。以我的經驗來看，這是一個極為容易犯且常見的錯誤。 （坦白說：我自己也犯過！）所以，儘管在我之前很多人已經說過很多次了，但我認為還是值得再說一遍。
