令人毛骨悚然的統計聲明 #2 解釋:統計意義與實際重要性我們都聽過有人說“不對”的話。 有時你只是放手,要么是因為它不夠重要而無法挑戰,要么是您不想與演講者發生衝突。
這是“令人毛骨悚然的統計數據”博客系列的第二篇。 一般來說,它是如何工作的:首先,我在一個JMP社區討論線。 鼓勵社區用戶回复。 大約一周後,我會在這樣的博客文章中對聲明中的問題發表看法。
這是迄今為止的討論主題和博客文章的表格。 非常感謝那些回复每個討論帖子的人(和/或向博客添加評論!)
討論主題 博客帖子 回复討論(或在博客上發表評論)的人#1:對p值的誤解誤解 p 值的危險@dale_lehman , @P_Bartell , @statman , @ih , @喬治, @brady_brady #2:過分強調統計顯著性這篇博文@P_Bartell , , Craige_Hales , @ih , #3:報告測量即將推出! 請在討論區發表您的評論。 也可以隨意貢獻您自己的令人畏懼的統計報表!那麼讓我們來看看我發布的第二個令人畏懼的聲明......
我對 Cringeworthy #2 的看法回想一下我們的情景,我們進行了一項研究,試圖確定生產過程中產量下降的原因。 進行了 t 檢驗以研究兩個供應商的子組件之間的差異。 實際上,t 檢驗顯示出非常低的 p 值,這對來自兩個供應商的零件的均值差異具有很高的置信度。
團隊經理想了解 p 值很小的事實。 他想立即開始研究為什麼這兩種總體均值不同。 (也許是因為過去的經驗,這些供應商之間的差異曾經引起了問題。)但經理沒有提到差異是否“實際上很重要”。
根據我的經驗,人們經常將“統計意義”與“實際重要性”混淆。
統計顯著性只是一個數學陳述,我們可以在一定的置信水平下檢測到兩個總體的均值存在一定程度的差異。 這很好,但它沒有說明這種差異對我們是否重要。實際重要性取決於您的判斷力、經驗和智慧。 也許統計檢驗檢測到兩種處理之間存在 0.1 個單位的差異。 0.1 的差異對您的應用程序重要嗎? 如果不是,那麼也許將資源用於發現這種差異的來源可能會更好地用於尋找可能導致產量低下的其他來源。也許不幸的是,“重要性”一詞在英語中可以解釋為“重要性”。 我不知道有比意義更好的詞來使用,但它可能會誤導某些人。
這個故事的寓意:在解釋統計分析結果時,一定要理解統計顯著性和實際重要性之間的區別!
現在,請過來令人毛骨悚然的討論 #3 !
“這是有統計意義的! 我們應該去投入資源解決問題!”
這句話是不是讓你不寒而栗? 在我的第二個討論主題的摘要中,看看為什麼我認為這是一個令人生畏的陳述。
分析回复:令人毛骨悚然的統計聲明 #2 解釋:統計意義與實際重要性
我知道很多人會喜歡你對統計顯著性與實際重要性的解釋。幾年前,FDA 沒有分享您的智慧,必須重寫 BLA 的整個部分。 FDA 的意見花了一年時間進行修訂。
雖然,有人可能會爭辯說,如果我們考慮人類進化尺度上的時間,一年是微不足道的。 所以我想這實際上並不重要。
回复:Cringeworthy 統計聲明 #2 解釋:統計意義與實際重要性哈哈謝謝@DirtyDataCoLLC !
我也聽說過@Craige_Hales , 誰發的這個鏈接關於同一個討論話題。在其中,由於 SS 的誤導性含義,作者建議使用“Discernible Difference”而不是“Statistical Significance”。對我來說很有意義!
回复:Cringeworthy 統計聲明 #2 解釋:統計意義與實際重要性我現在正在使用可辨別的差異和實際重要性。 感覺好多了。 希望其他人會效仿。 你說的對。 這是一英語問題。 重要的同義詞是重要的、關鍵的、關鍵的、有意義的、關鍵的、嚴肅的和至關重要的。 所以這個詞的誤用是有道理的。
我們如何讓很大一部分人使用更合適的表達方式、話語、術語或單詞?
我不太會說話。 我會堅持數字。 我花了很長時間才寫下最後一句話。 我無法選擇正確的表達、話語、術語或單詞。 所以,我都用了它們。
再次感謝, @JerryFish ,
搶