為什麼這是一個令人毛骨悚然的統計報表？ #1我將在接下來的幾週內啟動一些討論主題，並邀請任何 JMP 用戶參與
符合他們的想法。這些討論將圍繞著「令人畏懼的統計報表」。
請考慮貢獻。幾天后，我將在部落格文章中總結想法， 和介紹另一個令人難堪的聲明！
這是令人難堪的聲明#1：
我們進行 t 檢定來比較兩個總體的平均值。我們希望結果有 95% 的置信度。我們執行測試，p 值為 0.63。我們聲明“由於 p 不小於 0.05，我們得出結論，這些總體的平均值沒有差異。 」
為什麼這個說法令人毛骨悚然？？？？
品質和工藝工程分享和交流成果回覆：為什麼這是一個令人難堪的統計報表？ #1對我來說，這並沒有反映出足夠的理解水平，但至少它或多或少是「正確的解釋」。
有些人討論了一些類似於我稱之為“p 值方法”和運行 T 檢定的“置信區間方法”的內容。我喜歡認為這兩種分析方法本質上是同一件事，我將在這裡提出（請隨意不同意我的觀點）它們實際上是， （數學表達）同一事物的不同方式。在大多數情況下，JMP 非常聰明地以兩種方式為您提供統計演示，我真的很喜歡這一點！ 使用置信區間進行解釋（在普通 T 檢驗、非劣效性檢驗、等價性和優越性檢驗的背景下）對我來說一直更容易解釋。
我的一位好朋友給了我一本很好的教科書參考資料，我認為它說明了這一點：
Bluman，《基礎統計》（第 7 版），2015 年
回覆：為什麼這是一個令人難堪的統計報表？ #1我不會將這種解釋稱為“我有 95% 的信心，樣本均值差異不小於下 CI 且不大於上 CI”本身就是“錯誤”，事實上，我認為這是一種完全合適的措辭方式這是“正確的”並且很容易表達，但我想說這種解釋只是“普遍被誤解” @dale_lehman正如你所指出的。
作為@朱利安說在利用數據進行決策 (STIPS) - 4.1 估計{您可以從成績單中獲取此信息，我在屏幕上抓取了下面標題為“的相應模組參考”示範：了解信賴水準和 Alpha 風險”}
「我們將點擊重設樣本，將樣本數量改為 100，然後按一下繪製附加樣本。 當我們繼續抽取樣本時，請注意樣本的平均值接近真實平均值。 另請注意，接近 95% 的置信區間包含真實平均 IQ 值，而大約 5% 的置信區間不包含真實平均值。”
「這就是我們所說的『信心』這個字的意思。 一般， 為一個95% 置信度間隔，9使用此間隔方法的時間中有 5% 的時間間隔捕捉真實的參數值」。
當然，這是基於總體的推論，但它是基於樣本資料的。 這就是我們在進行一般推論統計時所做的事情。 整個事業就是根據我們擁有的樣本資料來推論總體。 再一次，在同一個利用數據做出決策第 4 單元，觀看第 4.1 節統計推論簡介。這裡， @米亞史蒂芬斯以清晰、準確和直接的方式談論這一點。
回覆：為什麼這是一個令人難堪的統計報表？ #1我不認為我的例子真的與貝葉斯與頻率分析或 p 值有任何關係（至少直接）。當然，你是對的，說我對這個 95% 置信區間內的真實值有 95% 的信心是不正確的：置信度是在過程中，而不是任何一個特定的置信區間。真實值要麼在某個特定區間內，要麼不在該特定區間內。
但我的觀點是，95% 是我可以給出的最佳估計，無論我的一個特定區間是包含真實值的95% 的「好區間」之一，還是給出錯誤值的5% 的區間之一結論。你可能會覺得錯誤的解釋令人難堪，但我不這麼認為。事實上，我覺得正確的解釋有點尷尬，因為它是一堆讓大多數人流淚的字眼。而且，我認為這導致了更糟糕（也更令人尷尬）的做法，即完全忽略不確定性並將點估計視為真實值。
回覆：為什麼這是一個令人難堪的統計報表？ #1除了之前帖子提到的其他問題之外，
1）當測試均值等價性時，必須預先指定測試的側面性。 如果沒有另外說明，平均數等價性檢定通常意味著 2 邊檢驗，在這種情況下 alpha（5% 的 I 類錯誤機率）是零分佈上尾部和下尾部的面積之和。 在幾乎所有情況下，此機率均等劃分，因此應與 p 值進行比較的尾部區域應為 alpha/2，即 0.025，而非 0.05。
** 編輯：JMP 透過將使用關鍵統計量找到的尾部加倍來為您解決此問題，但如果您「手動」執行此操作，您最終會拒絕 < 0.025 的單尾部區域。
2）「結果置信度為 95%」是令人尷尬的，因為它誤解了假設檢驗背後的主要想法。 您可以 100% 確信，在顯著水準為 0.05 的假設檢定中，您將採用某種程序（如果您做得正確的話）。 當兩個分佈的平均值實際上相同時，從長遠來看（假設所有假設成立），該過程有 5% 的時間會產生檢定統計量，由於抽樣變異性，該統計量會導致不同平均值的結論。
3) 這種性質的假設檢定只有2 個可能的結論：1)「樣本資料提供了（令人信服的）證據證明原假設是錯誤的」和2）「樣本資料沒有提供令人信服的證據證明原假設是錯誤的」是假的」。 值得注意的是，「根據樣本數據，我們得出原假設為真」的說法。 一般來說，當你想證明某件事時，你會將你試圖證明的內容框定為備擇假設，希望數據支持拒絕零值而支持備擇假設。 如果研究人員試圖證明手段上的等價性，那麼兩個單方面的檢驗會更適合。
4）其他人已經提到了這一點，但值得重複：統計顯著性和實際顯著性不一定是，而且通常不是，同一件事。 實際意義應該從第一方（如果不是零方）開始討論並達成一致。
@dale_lehman提到“正確解釋的問題在於，它並不能讓我們對我們實際擁有的樣本說出任何話。”我不同意，但我知道他這樣做的目的。 每種統計技術都有一個旨在回答的特定問題。 特別是在數據未能拒絕虛無假設的情況下，非統計學家（以及貝葉斯統計學家，就此而言）在頻率假設檢定中遇到的主要問題之一是 p 值回答的問題是提出不自然的問題，即：「在零假設下，我觀察到的結果與我實際觀察到的結果一樣極端，甚至更極端的機率是多少？」。 貝葉斯主義者會說他們的方法回答了更自然的問題，但貝葉斯技術有自己的問題——沒有萬靈藥。 沒有什麼可以替代了解哪些技術更適合回答某些問題，並選擇一種非常適合您要回答的問題的技術。 最近對 p 值的強烈反對，尤其是在醫學研究領域，讓我覺得有點像是對叉子用作眼罩時的強烈反對。 與其他工具一樣，p 值也是一種工具。 以正確的方式使用它，完成正確的工作，你會沒事的......以錯誤的方式使用它，“你會射出你的眼睛！”。
回覆：為什麼這是一個令人難堪的統計報表？ #1我真的很喜歡@喬治上面回覆中的最後一句話。 作為一名在工業流程/產品商業化或糾正行動團隊工作了20 多年的統計學家，我經常告訴與我一起工作的工程師、科學家和經理，「有一天，你讓我，一名統計學家，告訴你如何運作你的流程是你走向毀滅之路的開始之日。 你對你的流程/產品的遺忘比我所知道的還要多。”
或者正如沃爾特·休哈特（Walter Shewhart）所寫（由我轉述）：「統計學的長期貢獻與其說取決於培養一群統計學家，不如說取決於培養一群具有統計學頭腦的工程師、科學家、生產人員和其他人。”
回覆：為什麼這是一個令人難堪的統計報表？ #1稍微擴大一下討論範圍——對我來說，這從一開始就聽起來並不值得。 在我看來，這仍然是一個有效的決定。 當然，正如其他人已經指出的那樣，可能會缺少許多額外的資訊來信任該決定。 因此，在我看來，這取決於聲明的上下文以及聲明者。 順便問一下，相同字數的正確敘述是什麼？
另外，雖然我有時喜歡討論正確的措辭——術語很重要，但我不喜歡在統計學家和沒有深厚統計學知識的流程工程師之間建立一堵牆。 但後者知道他們的數據和流程。 正如我們可以想像的那樣，在光禿禿的數字表下面還有很多更重要的事情。 這可能是資料採樣的環境以及所做決策的後果，例如@P_巴特爾已經說明了。 決定仍然必須由人類做出，而不是由機器做出。
回覆：為什麼這是一個令人難堪的統計報表？ #1+ 沒有提及正常性檢查
回覆：為什麼這是一個令人難堪的統計報表？ #1謝謝@statman ！為以後的帖子提供更多好的素材。
繼續評論！
回覆：為什麼這是一個令人難堪的統計報表？ #1嘿@P_巴特爾！很高興聽到你的消息！
謝謝回覆！！我們會將這些想法放入我的（不斷增長的）令人畏懼的聲明列表中，並在以後的帖子中提出它們！
保持健康，我的朋友！
回覆：為什麼這是一個令人難堪的統計報表？ #1我會玩...我最喜歡的其實很簡單...使用短語“統計顯著性”應用於任何沒有上下文的地方。 有趣的是，如果你問某人當這個短語時他們是否更有可能相信某事具有統計顯著性補充說，他們回答“是”，但對正在進行的比較一無所知。
回覆：為什麼這是一個令人難堪的統計報表？ #1我從哪裡說起呢？ 樣本大小（沒有說明......可能太小而無法讓訊號有機會超越雜訊）？ 選擇的 alpha 風險是什麼（「...對結果有 95% 的信心...」對於 alpha 風險來說是毫無意義的陳述。 該聲明到底是什麼意思）？ 什麼是原假設（未說明）？ 測量誤差是多少（已知或假設）？ 抽樣計劃是什麼（隨機、方便、首先/最後離線、分層或其他計劃）？ 什麼是代表性風險…而不僅僅是統計風險？ 不斷地。
回覆：為什麼這是一個令人難堪的統計報表？ #1我同意這個令人畏懼的例子——對缺乏證據並不意味著缺席的典型誤解。請考慮經典但不那麼直接的說法：“95% 置信區間的範圍是從 x 到 y，這意味著我有 95% 的信心認為真實效果在 x 和 y 之間。”我碰巧相信這樣說是可以的，儘管我知道正確的說法是「以這種方式構建的所有隨機樣本中 95% 將包含真實效果」。當然，我們不知道我們的樣本是不包含真實總體效應的 95% 樣本之一還是 5% 樣本之一，而且它要么包含，要么不包含。但是，鑑於我們擁有的一個樣本，我認為我們能說的最好的就是第一個引用的陳述，儘管它在技術上不正確。
我想聽聽其他人對這個例子的看法。統計學家喜歡指出這種對信賴區間的錯誤解釋是多麼普遍，而我完全可以理解。我承認給了學生錯誤解釋它的自由（儘管至少我指出了正確的解釋是什麼）。正確解釋的問題在於，它無法讓我們對我們實際擁有的樣本做出任何評價。
