如果你錯過了三月的一集統計學上講，無需註冊即可觀看！ 我們認為 Jessica Utts 和 Dick De Veaux ——傑出的屢獲殊榮的統計學家、教授、作家和 ASA 研究員——提出的觀點和例子非常引人注目，以至於他們的演講應該被廣泛關注。
此外，我們沒有時間解決所有後續問題。 值得慶幸的是，傑西卡和迪克提供了詳盡的答案；我們感謝他們抽出時間進一步深入研究這一重要議題。
問題：在建立分析過程中造成不必要的浪費怎麼辦？我們看到很多人仍然在做一次一個因素的實驗，這實際上只是一種浪費的試驗和錯誤。 這會回到傑西卡關於教授統計素養的觀點嗎？
傑西卡：我認為關於如何設計實驗或分析的討論不符合我對統計素養的看法，因為我最關心的是統計消費者的素養。 但這引出了一個非常重要的觀點。 一次做一個因素的實驗的問題不僅僅是浪費。 問題是，如果交互存在但沒有被考慮在內，結果可能會非常具有誤導性。 相互作用只能通過在同一個實驗中研究多個因素來衡量。
例如，一些研究表明，在鍛煉前攝入咖啡因有助於提高運動表現。 但其他研究表明相反。 已經提出的一種解釋是，這取決於某人在基因上是快速還是慢速的咖啡因代謝者。 因此，如果這類研究沒有考慮到這種遺傳差異，那麼結果可能會產生很大的誤導性。
當消費者閱讀似乎沒有意義的研究結果（甚至是有意義的結果！）時，一個好的策略是考慮哪些額外的變量可能導致交互。 例如，在本次網絡研討會中，我討論了女性健康倡議的結果，該結果似乎表明絕經後接受激素替代療法會增加患冠心病的風險。 但後續研究表明，情況並非如此簡單。 根據美國婦產科學院婦科實踐委員會：
“最近的分析表明，HT [激素療法] 不會增加最近經歷過更年期的健康女性的 CHD [冠心病] 風險。 有一些證據支持時間假說，即在接近絕經期開始使用 ET [雌激素治療] 或 HT 時，可能會產生心血管益處。”
換句話說，荷爾蒙不僅不太可能導致更年期開始服用的女性患冠心病，而且荷爾蒙實際上可能有助於減少心髒病！ 問題在於，最初研究中女性的平均年齡是 63 歲，而且她們中的大多數人已經過了更年期很多年，並且從未使用過激素。 一位醫生朋友向我解釋說，這意味著他們可能在絕經後有時間在動脈中積聚斑塊，多年後他們開始使用激素時，斑塊鬆動，導致冠心病。 如果他們在絕經後立即服用激素，斑塊就不會積聚，激素會保護他們免受心髒病的侵害。 在這個例子中，根據絕經過渡後的年數開始使用激素的時間是一個重要的相互作用變量。 如果消費者查閱了原始研究文章，他們會注意到參與研究的女性並不能代表激素療法在實踐中的使用方式。 在“現實世界”中，激素療法幾乎總是在絕經後立即開處方。
如果您正在設計實驗或觀察性研究，那麼考慮如何組合的解釋變量可能會影響結果。 如果可能發生交互，那麼一次調查一個因素不僅是浪費，而且可能會誤導。
問題：實際意義是否應該由特定的效應大小截止值來定義，例如 0.5，心理學家將其定義為“中等效應”？
傑西卡：不！ 實際意義應結合上下文來看待。 不過，效應量很有用，尤其是對於確定一個發現是否從一項研究複製到另一項研究時。 這是因為，不像 p -值，效應大小不依賴於樣本大小。 （但是，與任何統計估計一樣，樣本越大，對真實效應大小的估計就越準確。）因此，如果特定結果變量在研究之間始終顯示相同的效應大小，那就更好了複製的指標，而不是規模差異很大的研究始終發現相似的 p -價值觀。
考慮效應大小的一種簡單方法是，它是兩組均值在標準差數量方面的差異。 例如，男性和女性的平均身高相差約 5 英寸，每組內的標準差約為 2.5 英寸。 因此 5 英寸的差異具有 5/2.5 = 2 的影響大小，即以“組內”標準差的數量表示的平均高度差異。 效應量在 0.2 左右被分類為小，在 0.5 左右被歸類為中，如果為 1.0 或更大，則被歸類為大。 粗略地說，大的效應對任何人來說都是顯而易見的，中等效應對於觀察力強的專家來說是顯而易見的，而小的效應在不使用統計數據的情況下實際上是不可觀察的，即使它可能很重要。 使用此處的示例，任何觀察者都應該注意到兩組 2.5 英寸或更大（效應大小為 1）的平均高度差，1.25 英寸（效應大小為 0.5）的平均高度差可能不會被注意到，除非有人經常出於某種目的測量高度，如果沒有統計摘要，很難檢測到半英寸的差異（效應大小為 0.2）。
但實際意義總是取決於上下文。 例如，假設進行一項研究以確定服用一種沒有副作用的特定草藥補充劑是否有助於降低膽固醇。 各種來源報告說，總血漿膽固醇的總體標準偏差約為 40 mg/dl。 因此，即使是相對較小的 0.25（標準偏差的 1/4）效應量也代表平均膽固醇降低 10 mg/dl，這可能具有有意義的臨床意義。 另一方面，假設降低膽固醇的藥物有嚴重的副作用。 在這種情況下，由於服用該藥物而平均僅減少 10 mg/dl 可能不足以使其值得冒副作用的風險。 正如身高和膽固醇的例子所說明的，效應大小的數值取決於自然的組內變異性。 如果人群中膽固醇水平的自然變異性僅為 5 mg/dl 而不是 40 mg/dl，那麼降低 10 mg/dl 將代表 10/5 = 2.0 的效應大小，符合“大影響。”
另一個例子是確定一個效果是否存在。 例如，測試超感官知覺是否可能的實驗室研究始終發現較小的影響大小，通常在 0.15 和 0.2 之間。 但在這種情況下，任何一致的非零效應大小都是有意義的，因為它表明超感官知覺是可能的。
因此，總而言之，確定研究結果是否具有實際意義需要背景專業知識。 效應量可以用作指導，但被認為具有實際意義的因素總是取決於統計測量之外的其他因素。
問題：與統計顯著性相比，您如何定義實際/生物學顯著性？
迪克：這是一個很好的問題，而且經常出現。 我將首先回答這個問題，然後給出幾個答案。 統計“顯著性”是一個狹義的術語，它描述了當觀察到的數據與所提出的模型預測的“足夠遠”時的情況。 因此，如果我們假設一枚硬幣是公平的並且將其翻轉 100 次並且觀察到的正面頻率與 0.5 相差甚遠，我們會說結果具有統計顯著性，這意味著在該模型下發生這種情況的可能性很小（這是 p 值）。 當 p 值足夠小時，我們說有證據反對該模型（或假設），無論與 0.5 的實際差異是否足以引起實際興趣。 實際/生物學意義描述了一個結果有意義的給科學家或其他研究者。 結果可能具有實際意義，但沒有統計學意義，或者（甚至更糟），反之亦然。
昨天一個學生來找我，提出了一個關於昆蟲如何訪問植物的理論。 他們傾向於獨立來，還是成群結隊地來？ 我們使用泊松模型來模擬到達花朵的 0、1、2、3 ……昆蟲的出現，然後使用卡方檢驗來查看實際出現是否符合泊松。 通過使時間段非常小，從而使時間段的數量變大，我們能夠相當容易地拒絕泊松模型（因此拒絕獨立到達）。 但是我們沒有回答到達是否足夠遠來真正回答生物學問題的問題。 與泊松預期的數字有多麼不同，才能真正證明昆蟲正在“配對”。 這不是統計學家可以回答的問題。
其他例子來自普林斯頓的一個實驗室，該實驗室試圖證明人類可以影響（或至少預測）隨機數生成器的結果。 他們生成一個介於 0 和 1 之間的隨機（統一）數字，然後要求受試者判斷它是小於還是大於 0.5。 他們收集了數以萬計的這些觀察結果，並宣布該百分比具有明顯的統計學意義（p 值 < 0.00001）。實際成功率（大約 0.5002）是一個很小的偏差，以至於最好它將影響一萬個結果中的兩到三個。 當然，實驗室主任認為任何差異，無論多麼小，都會很有趣。 即使結果是真實的，而不是實驗異常或隨機錯誤的結果，我也會讓讀者來決定結果是否具有實際意義。
如果一種藥物的成功率遠遠高於安慰劑，不太可能是偶然發生的，我們會說這是一個具有統計學意義的結果。 但是，如果實際差異是治愈 31% 的患者，而不是安慰劑的 30%，我懷疑營銷部門將很難宣傳這種改善，即使這種差異具有統計學意義。
問題：您是否認為任何對研究結果有興趣或利益的人都應該在研究中始終受到審查或識別？
迪克：比以往任何時候都更容易找到我們關心研究的幾乎所有主題的數據。 但是，當然，並非所有數據都是平等的。 雙盲安慰劑對照臨床試驗的結果總是比軼事信息更可取。 當無法識別數據來源時，可能無法區分這兩種情況。 數據的譜系，包括它們是如何收集的，在什麼條件下，由誰以及出於什麼目的，在聲稱數據對整個世界意味著什麼之前是必不可少的。
我們有興趣聽到您可能有的其他示例數據科學倫理，在仔細考慮道德分析的情況下，在明顯缺乏道德的情況下進行分析，或者在不清楚如何最好地進行的情況下進行道德困境。 再次感謝杰西卡和迪克分享他們在這個話題上的智慧和專業知識，這與這個時代息息相關。
