揚聲器 | 成績單 |
| 史丹楊 | 哈哈。 |
| 薩拉·杜特 | 允許你。 |
| 史丹楊 | 現在看到一切。 |
| 好吧，喔不，我要從我這邊運行幻燈片嗎？ |
| 薩拉·杜特 | 是的，就像正常會議一樣。 |
| 讓我們就這樣吧，好吧，確保我在近距離觀察時得到了一切。好吧，我們正在錄製，我需要，我要關掉我的相機，僅供參考，然後。 |
| 好的。 |
| 史丹楊 | 要使其全螢幕顯示，現在只需排序即可。 |
| 第二個如何做到這一點。 |
| 薩拉·杜特 | 就是那個底部，上面寫著對 34% 的人的行為的註釋，它看起來像 a。 |
| 下船是的，對那個壞人感到抱歉，在另一邊的人那個。 |
| 一是的，那傢伙。 |
| 史丹楊 | 哈哈。 |
| 薩拉·杜特 | 你走吧，我的意思是我要走了，我們馬上就要開始，但我要見見我自己，在我們開始之前你有什麼問題嗎？ |
| 史丹楊 | 或者你真的不會在錄製投影片的同時也錄製我的影片嗎？ |
| 薩拉·杜特 | 是的，是的，他們要求你要有。 |
| 相機在這裡。 |
| 過了那就好了。 |
| 正確的。 |
| 好的。 |
| 史丹楊 | 我準備走了。 |
| 薩拉·杜特 | 我要把自己靜音，如果你有疑問或需要停下來，請告訴我，否則我會讓你知道。 |
| 史丹楊 | 去。 |
| 今天我將介紹用於評估多項研究的 JMP 插件和腳本。 或者你可以稱之為如何抓住 p-hackers，人們用統計數據作弊，或者為什麼大多數科學主張都是錯的。 |
| 我首先要描述拼圖的各個部分以及它們如何組合在一起。 大多數說法其實都無法複製。 這些都是科學主張。 |
| 我和我的合著者都認為，這是由於 p-hacking 造成的，這是一個主要問題。 我們將使用元分析和 P 值圖來抓住他們，這就是抓住騙子的方法。 |
| JMP 外掛程式和腳本是來自風險比和置信限的 P 值。 它們來自薈萃分析。 |
| 然後是Fisher的P值組合，這是一種古老的技術，類似於薈萃分析技術。 然後我們將呈現一個 p 值圖，我們有一個小腳本可以清理它並使其成為一個像樣的圖 |
| 圖片。 |
| 好吧，我們看到天空中有一隻兔子。 天空中有很多雲，如果你在天氣好的時候坐在外面環顧四周，你可能會發現一隻兔子。 |
| 所以這是一個隨機事件。 當然，兔子其實並不在天上。 |
| 葛曼和洛肯實際上發表了一篇小文章，並指出科學中的統計危機，因此人們錯誤地使用了統計數據，這就是我們今天要討論的內容。 |
| 讓我們進行一個流行病學實驗。 |
| 我們有 10 面骰子，紅、白、藍。 它們將變成數字（在本例中為 0.046）。 讓我們親眼目睹這一切發生在我們眼前。 |
| 現在我們有了 P 值。 這是隨機的。 你自己做的。 太有趣了，我們為什麼不再玩一次呢？ |
| 紅白， |
| 和藍色。 |
| 現在，如果您執行了 60 次，則可以填寫此處的表格。 這是我用 10 面骰子進行的模擬。 您可以看到 4 列 15 行的 P 值。 所以這是 60 個 P 值。 我的最小 P 值為 0.004。 |
| 透過 60 個 P 值，您可以計算出機率。 大約 95% 的情況下，至少有一個 P 值小於 0.05。 |
| 這是我女兒做的。 她的三個 P 值小於 0.05；他們被圈在這裡。 然後進行流行病學家實驗就這麼簡單 |
| 甚至我的妻子帕特也能做到，她這裡有三篇潛在的論文，她可以根據擲骰子和編一個好故事來寫。 |
| P 值具有附加的預期值。 因此，在右側，我們的 P 值為 0.004、0.016 和 0.012。 每個 P 值都附帶一個正常偏差。 您可以看到我的 .004 的正常偏差為 2.9 等等。 在左邊，我們有 |
| 樣本大小、預期偏差、最小 P 值的預期 P 值，然後是偏差。 所以如果我們有 400 |
| 對於我們正在研究的問題，預期 P 值為 0.00487，偏差為 2.968。 現在，正是這種偏差從基礎實驗帶入薈萃分析的計算中，我們將在繼續進行時看到這一點。 |
| 流行病學中有多少說法是真的？ 我在 2011 年發表了一篇論文，並採納了觀察研究中提出的觀點。 |
| 對於觀察性研究中的每項主張，我都找到了一項研究完全相同問題的隨機臨床試驗。 因此，在這 12 項研究中， |
| 52 項可以提出和測試的主張。 |
| 如果您查看「積極」下方的列，您會發現這 52 項聲明中有 0 項是按照正確方向複製的。 |
| 因此，就流行病學家的說法而言，52 分中的 0 分是 0 分。 實際上有五種說法具有統計顯著性，但它們與觀察性研究中所聲稱的方向相反。 |
| 我們要看一個 |
| 瘋狂的問題。 穀物決定人類性別嗎？ 那麼，如果你吃早餐麥片，你生男孩的可能性就更大嗎？ 嗯，第一篇論文就是這麼說的。 |
| 這篇論文發表在皇家學會 B 上，這是他們的首要生物學期刊。 因此，這三位合著者聲稱，如果你吃早餐麥片，你更有可能生男孩，在受孕期間和前後吃早餐麥片。 |
| 我和我的兩個同事研究了這個，我們要求提供數據。 我們得到了數據，然後發表了對第一篇論文的反駁，稱穀物引起的性別選擇很可能是多重測試誤報。 |
| 在受孕之前...預測受孕，以及在受孕前後。 每份問卷包含131種食物，共進行262篇統計檢定。 |
| 您計算這些測試的 P 值，將它們從小到大排序，然後根據整數繪製它們（即底部的排名）， |
| 你會看到一條看起來相當不錯的 45 度線。 所以我們正在尋找均勻分佈。 現在他們的主張來自左下角，他們說，好吧，這是一個小的 P 值。 小 P 值表示吃麥片…早餐麥片會導致更多 |
| 男孩嬰兒。 |
| 很明顯是統計誤報。 |
| P 值圖。 所以我們將大量使用 P 值圖。 在左側，我們看到可能為真零假設的 P 值圖。 |
| 老年人長期運動訓練不會導致死亡或死亡風險。 右邊是抽菸和肺癌。 |
| 我們看到整個頁面上大量的 P 值都非常接近零，並且右側有一些落後的值。 因此，右邊的圖片是真實效果的證據，左邊的圖片是零假設的支持，沒有效果。 |
| 讓我們來談談元分析，因為我將在本次講座的過程中使用它們。 在左邊，我們看到一個漏斗，我們看到很多論文都落入漏斗中。 |
| 流行病學家或進行薈萃分析的人會挑選他們認為高品質的論文，並將其用於進一步分析。 在右邊，我們看到了…類似的 |
| 證據層次。 考慮對許多研究進行薈萃分析 |
| 高層訊息，然後是底層訊息，專家意見等等。 所以你在金字塔上爬越高 |
| 人們認為證據更好。 |
| 我們將看兩篇薈萃分析論文範例。 第一篇論文是奧利亞諾的。 |
| 一氧化氮、臭氧、 |
| 小顆粒等。 它收集了來自世界各地的數據... |
| 世界，這是由 |
| 世界衛生組織，這是高品質的資金、高品質的論文。 |
| 這是一個薈萃分析。 我們將看看薈萃分析中的主張是否成立。 |
| 最下面那張實在是太搞笑了。 紅肉和加工肉類的消費模式以及肺癌和心臟病的基本風險。 |
| 營養文獻中有很多文獻說你真的不應該吃紅肉。 我們將看看這是否…是否有意義。 |
| 讓我們回去看看拼圖的各個部分，然後看看它們是如何組合在一起的。 |
| 我們從公開文獻中得知，大多數說法都無法複製。 這被稱為科學危機。 P-hacking 是一個問題。 P-hacking 正在運行大量測試，嘗試這個、嘗試那個，然後，當你發現 P 值小於 0.05 時， |
| 你可以寫一篇論文。 |
| 我們將使用元分析和 P 值圖來抓住那些基本上是 P 駭客的人，我將 P 駭客稱為統計數據作弊。 |
| 你知道，其他人的描述有點不同。 我們將使用 JMP 插件。 這些 JMP 插件由 Paul Fogle 編寫。 |
| 它們使我們能夠從薈萃分析論文開始，快速輕鬆地產生 P 值圖。 我們還將描述 Fisher 的 P 值組合，然後我們... |
| 有一個小腳本，它將採用 JMP 中的雙向圖，然後對其進行清理，以便左右邊距更...更有吸引力。 |
| 這是長期暴露在空氣污染和 |
| 他們說，會導致氣喘。 左邊是所謂的樹形圖。 那就是... |
| 它看起來有點像聖誕樹。 |
| 平均值以點的形式給出，然後置信限是兩側伸出的鬍鬚。 左邊是論文名稱...這些作者選擇的論文，右邊是 |
| 風險比率和置信限度。 現在，您通常可以將風險比率和置信限度去掉，然後將它們放入一個 |
| JMP資料集，所以我們看到右邊的JMP資料集。 |
| 現在是 P 值圖。 |
| Paul Fogle 寫的東西將把這些風險比率和 P...以及置信極限轉換為 P 值。 |
| 在這裡我們看到它已經完成了。 |
| 置信限可以為您提供標準誤差。 |
| 利用風險比和標準誤，您可以計算 Z 統計量。 然後您可以獲得 Z 統計量並獲得 P 值。 在右側，我們看到 P 值圖出現，就像在 JMP 中點擊幾下一樣。 |
| 同樣，在左側，我們有粗略的 P 值圖，在右側，使用小腳本後，我們添加零線，添加 0.05 的虛線，然後清理並展開上的數字 |
| X 軸和 Y 軸。 所以我們現在可以看看並判斷那件事中的所有研究，但我們看到了一個相當奇怪的事情。 我們看到 |
| 所有這一切，有一些 P 值低於 0.05，然後很多 P 值上升，所以我們有一個不明確的情況。 |
| 有些 P 值看起來像是聲明是正確的，而其他 P 值看起來只是隨機發現。 |
| 讓我們來看看 Fisher 的 P 值組合。 在左邊，我們有公式。 你取 P 值，取自然對數，將它們相加乘以 -2。 |
| 這給你一個卡方。 您查找表中的 Chi 方。 所以這個...這個薈萃分析，我們有 P 值。 在 P 值下，我們有 -2ln，並且您會看到很少有很小的 P 值可以顯著增加總和。 |
| 如果你稍微想一下，總和就像所有總和一樣，它會受到異常值的操縱......大大改變平衡。 |
| 因此，少數小的 P 值 (.0033, .0073) 顯著增加了卡方的總和。 事實上，這個求和並不穩健。 一個異常值…一個極端的異常值可以顛覆整個…整個方程式。 |
| 現在請記住，P-hacking 可能會導致 P 值變小，而且， |
| 科學家經常發現，如果一項研究結果不重要，他們甚至不會發表。 |
| 如果他們發現了一些重要的東西，他們通常會發現。 所以存在發表偏見。 整個文獻充斥著小 P 值 |
| 這可能...這只是冰山一角。 冰山之下是所有可能發生的出版物，但它們在統計上並不顯著。 |
| 我們現在要來看一項空氣污染研究。 2012年的穆斯塔菲克 |
| 在《JAMA》發表論文，他研究了六種典型的空氣污染 |
| 一氧化碳、一氧化二氮、小粒狀物（即 PM 2.5）、二氧化硫等。 |
| 如果您查看這些 P 值圖，它們本質上看起來都像曲棍球棒。 有許多 P 值小於 0.05。 |
| 但隨後有大量 P 值沿著 45 度線上升，表示沒有效果。 |
| 我們認為我們正在尋找一種混合物。 我們正在研究重要研究和非重要研究的混合。 |
| 我們進一步認為，重要的研究主要來自 P-hacking。 還可以出現其他方式，但我們認為 P-hacking 才是最重要的。 所以如果你看這裡的左邊 |
| 在紅色框中，我們給出中位數 |
| 可以在一項研究中進行的模型或測試，這些研究是穆斯塔菲克論文中的研究。 |
| 我們統計了數量 |
| 結果、預測變數和協變量，如果將它們全部相乘，則得到中位數，我們稱之為搜尋空間，中位數搜尋空間為 12,288。 |
| 這意味著作者平均有 12...中位數有 12,000 次機會獲得 P 值小於 0.05。 他們有很大的餘地來獲得具有統計意義的結果。 |
| 我們將在這裡研究營養研究的簡單計數。 我們這裡有 15 項研究。 作者，或論文的第一作者。 |
| 然後在頂部您可以看到結果、預測變數、協變數、測試、模型和搜尋空間。 結果，如果他們查看三個健康結果，例如 Dixon，並且如果他們有 51 |
| 他們研究中的食物，將......那些將是預測因子。 現在如果他們使用協變量， |
| 這將大大增加搜尋空間。 你可以看到，對於 Dixon，理論上他可以進行 2000 萬種可能的分析。 |
| 如果您向下查看搜尋空間列，您可以看到大量可以完成的可能分析。 |
| 營養研究是在隊列中進行的。 隊列是聚集起來的一群人， |
| 最初，他們會透過問題進行衡量，然後等待一段時間，然後再觀察對健康的影響。 |
| 每個群組都有該群組使用的資料集的名稱。 |
| 這些群體一旦聚集在一起，就可以用來提出無數的問題。 |
| 如果 |
| 其中一個問題的 P 值顯著 |
| 他們覺得自己可以寫一篇論文，而且他們常常這樣做。 |
| 所以，在最後兩列中，我們看到論文的數量 |
| 這可能會出現。 還有更多......我們使用了谷歌學術，我們實際上檢查了它。 這些是文獻中出現的論文數量 |
| 與這些隊列中的每一個相關聯。 我要補充一點，我們已經看過很多這樣的論文，但這些論文中沒有一篇對多重測驗或多重建模進行任何調整。 |
| 營養流行病學、環境流行病學，這些都是我們在這裡討論的。 營養流行病學使用問卷，食物頻率問卷（FFQ）。 |
| 在 FFQ 中，您可以吃一定數量的食物。 |
| 最初，他們從 61 種食物開始，我看過一些 FFQ 研究，其中有 800 種食物。 我不想成為填寫該問卷的人。 |
| 但這裡給出的是一段時間內使用 FFQ 的論文數量。 |
| 自1985 年以來...該技術於1986 年發明...自1985 年以來，已有74,000 篇FFQ 論文，根據我們對它們的觀察，這些論文都沒有針對多重測試進行調整，並且所有論文都具有相當大的統計搜尋空間。 |
| 環境流行病學，我簡單地用谷歌搜尋了論文標題中的「空氣污染」一詞。 |
| 在這裡我們看到，隨著時間的推移，已經有 28-29,000 篇關於空氣污染的論文發表。 |
| 據我所知，基於大量的研究，這些論文都沒有適應多重測試或多重建模，並且所有這些論文都有很大的......基本上所有這些論文都有非常大的搜索空間。 |
| 薈萃分析稱為系統性回顧和薈萃分析，最近從 2005 年開始， |
| 期刊有 |
| 在論文的標題中使用了這個術語。 所以從 2005 年開始，我問論文標題中是否出現了「系統性回顧」和「統合分析」這兩個詞，你可以看到，一開始的論文數量很低，每年 1,500 篇。 |
| 五年期間共發表了 1,500 篇論文，最終到 2021 年， |
| 總共有27000篇論文，所以這是一個家庭手工業。 這些論文可以相對容易地發表。 |
| 在中國，一個團隊通常由 10 人或 5 到 15 人組成，每週可以進行一次統合分析。 |
| 他們的薪水是根據他們發表的論文數量等等來評定的。 |
| 據我所知，這些都是……這些研究一半是觀察性研究，一半是……來自隨機臨床試驗。 |
| 事實上，到目前為止，在我們研究過的所有研究中，特別是在觀察性研究中，沒有一個看起來像曲棍球棒，就像有一些 P 值很小，有一堆 P 值看起來像完全隨機。 |
| 我想說的是，所有…基本上所有這些研究都是由你或某人的稅金資助的。 一種說法是，他們得到了公共資金的慷慨資助。 |
| 許多說法沒有統計支持。 基礎論文不修正多重檢定和多重建模。 基礎論文有很大的分析搜尋空間。 |
| 我們已經看到了環境流行病學和營養流行病學的例子，我認為根據證據，大多數人都是不可靠的。 |
| 我說，其他人也說過，我們面臨一場科學和統計災難，並且使用薈萃分析和 P 值圖，這些說法可以被驗證為真，也可以為假。 |
| 這裡我們分四種霧霾狀況。 左上是 1952 年的倫敦； |
| 右邊是1948年的洛杉磯。 |
| 左下是新加坡，我不確定…我不記得具體年份了。 然後是北京。 這些是最近的。 |
| 以倫敦大霧為例，對死亡人數的統計分析…每日死亡人數等一切都表明，1952 年倫敦三、四天內有超過 4,000 人死亡。 這引起了流行病學家對兇手的興趣。 |
| 其他三張幻燈片或其他三張圖片，在這些時間段內沒有報告死亡人數增加。 |
| 更確切地說，在倫敦，他們正在燒煤 |
| 用於供暖和其他一切。 出現了逆溫現象，有人認為空氣中的酸被顆粒帶到下肺，易受影響的個體（通常是年老體弱的人）死亡人數增加，但現在這種情況並沒有發生 |
| 世界各地。 世界各地存在各種各樣的污染，但我們沒有看到與之相關的死亡率飆升。 |
| 詐騙？ 哈哈。 我喜歡詐騙。 |
| 這些是騙局嗎？ 空氣污染會致命。 FFQ 研究中的任何說法，例如，如果你喝咖啡，你就更有可能罹患胰臟癌。 這是可能不正確的說法之一。 |
| 自然水平的臭氧會殺人嗎？ 我認為這也不是真的。 環境雌激素。 任何來自使用觀察性研究的薈萃分析的主張。 |
| 請記住，公共文獻中的證據表明，80%（通常來自大學）的科學主張在經過嚴格測試（例如隨機臨床試驗）時未能複製。 |
| 情感和恐懼。 現實政治的全部目標是透過用無數的大妖精（所有這些都是虛構的）來威脅民眾，從而使民眾受到威脅、恐懼，從而大聲要求將他們帶到安全的地方。 |
| 胡言亂語、欺騙、信任遊戲，涉及…巧妙地說服或巧妙地操縱受害者。 所以HL 1930年代的門肯說，現實政治很大程度上是恐嚇政治。 |
| 我們在本次演講中結束了本文的作者。 我是 Stan Young，可以透過genetree@bellsouth.net 與我聯繫。 Warren Kindzierski 是一位加拿大流行病學家，過去幾年他一直與我密切合作，撰寫了以下論文： |
| 基於我們今天在這裡看到的事情。 Paul Fogel 是一位非常有趣的統計學家，住在巴黎，他負責撰寫 |
| 我們可以使用的加載項和腳本。 我想說的是，這些腳本將允許您在不到一個小時的時間內從元分析到評估。 |
| 我想推薦全國學者協會的報告《流沙報告 1》，這個 URL 可以幫助您到達那裡。 |
| 這份報告篇幅較長，涉及面廣，但簡單的統計報告談論了空氣品質和健康的影響。 |
| 我還將提出以下聲明，如果觀看此內容的人想要嘗試發生了什麼，我們將為您提供 JMP 的腳本和插件，然後我甚至會幫助您 |
| 查看並解釋您對薈萃分析的特定分析。 因此，我會停下來，準備回答任何問題。 謝謝。 |
