揚聲器 | 成績單 |
| 斯坦楊 | 哈哈。 |
| 薩拉·杜特 | 允許你。 |
| 斯坦楊 | 現在看到一切。 |
| 好的，哦，不，我要從我身邊運行幻燈片。 |
| 薩拉·杜特 | 是啊是啊就像你會一個正常的會議。 |
| 好了，冷靜，確保我得到了一切，如果我近視的話。好的，我們正在錄製我需要的我要我要關掉我的相機，僅供參考，然後。 |
| 好的。 |
| 斯坦楊 | 為了使這個全屏，所以現在只需排序。 |
| 如何做到這一點的第二。 |
| 薩拉·杜特 | 就是那個底部，上面寫著對 34% 的行為的註釋，它看起來像一個。 |
| 下船是的，對那個不好的人感到抱歉，在那個人的另一邊。 |
| 一個是的，那個傢伙。 |
| 斯坦楊 | 哈哈。 |
| 薩拉·杜特 | 你走了，我的意思是我要走了，我們馬上就要開始了，但我要去見我自己，在我們開始之前你有什麼問題嗎？ |
| 斯坦楊 | 或者你真的不會像幻燈片一樣錄製我。 |
| 薩拉·杜特 | 是的，是的，他們問你有。 |
| 上面的相機。 |
| 過了就好了。 |
| 正確的。 |
| 好的。 |
| 斯坦楊 | 我準備好了。 |
| 薩拉·杜特 | 我要讓自己靜音，如果你有問題或需要停下來，請告訴我，否則我會讓你知道的。 |
| 斯坦楊 | 去。 |
| 今天我將介紹用於評估多項研究的 JMP 插件和腳本。 或者你可以稱之為如何抓住 p-hacker、用統計數據作弊的人，或者為什麼大多數科學主張是錯誤的。 |
| 我將首先描述拼圖部分以及它們如何組合在一起。 大多數聲明實際上無法複製。 這些是科學主張。 |
| 我在爭論，我的合著者也在爭論，這是由於 p-hacking 造成的，這是一個主要問題。 我們將使用元分析和 P 值圖來捕捉它們，所以這就是捕捉騙子的方法。 |
| JMP 插件和腳本是來自風險比率和置信限的 P 值。 它們來自元分析。 |
| 然後是Fisher的P值組合，一種類似於元分析技術的古老技術。 然後我們將展示一個 p 值圖，我們有一個小腳本可以清理它並使其成為一個像樣的 |
| 圖片。 |
| 好吧，我們在天空中看到了一隻兔子。 天空中有很多雲，如果你在美好的一天坐在外面環顧四周，你可能會發現一隻兔子。 |
| 所以這是一個隨機事件。 當然，兔子實際上並不在天空中。 |
| Gelman 和 Loken 實際上發表了一篇小文章，說科學中的統計危機，所以人們使用統計數據是錯誤的，這就是我們今天要討論的內容。 |
| 讓我們進行一個流行病學實驗。 |
| 我們有 10 面骰子，紅色、白色和藍色。 它們將變成數字（在這種特殊情況下為 0.046）。 讓我們親眼目睹這一切發生在我們眼前。 |
| 現在我們有一個 P 值。 這是隨機的。 你自己做的。 這麼好玩，不如我們再來一次？ |
| 紅白， |
| 和藍色。 |
| 現在，如果你這樣做 60 次，你可以在這裡填寫表格。 這是我用 10 面骰子做的模擬。 您可以在四列和 15 行中看到 P 值。 所以這是 60 個 P 值。 我最小的 P 值是 0.004。 |
| 使用 60 個 P 值，您可以計算出概率。 大約 95% 的情況下，您至少有一個 P 值小於 0.05。 |
| 這是我女兒做的。 她的三個 P 值小於 0.05；他們被圈在這裡。 然後進行流行病學家實驗就這麼簡單 |
| 甚至我的妻子帕特也能做到，她在這裡有三篇潛在的論文，她可以根據擲骰子和旋轉一個好故事來寫。 |
| P 值具有附加到它們的期望值。 所以在右邊，我們的 P 值為 0.004、0.016 和 0.012。 附加到每個 P 值的是正常偏差。 您可以看到我的 .004 的正常偏差為 2.9，依此類推。 在左邊，我們有 |
| 樣本量、預期偏差和最小 P 值的預期 P 值，然後是偏差。 所以如果我們有 400 |
| 我們正在研究的問題，預期的 P 值為 0.00487，偏差為 2.968。 現在，正是這種偏差從基礎實驗帶到了元分析的計算中，隨著我們繼續進行，我們將看到這一點。 |
| 流行病學中有多少說法是正確的？ 我在 2011 年發表了一篇論文，並接受了在觀察性研究中提出的主張。 |
| 對於觀察性研究中的每一項主張，我都發現了一項針對完全相同問題的隨機臨床試驗。 所以在 12 項研究中，有 |
| 可以提出和測試的 52 項聲明。 |
| 如果您查看正下方的列，則這 52 項索賠中有 0 項以正確的方向複製。 |
| 因此，就他們的主張而言，流行病學家的 0 比 52。 實際上有五項聲明具有統計學意義，但它們與……觀察性研究中聲明的方向相反。 |
| 我們要看看一個 |
| 瘋狂的問題。 穀物決定人類性別嗎？ 所以如果你吃早餐麥片，你更有可能生男孩嗎？ 嗯，這就是第一篇論文所說的。 |
| 這篇論文發表在皇家學會 B，這是他們的主要生物學期刊。 所以這三位合著者聲稱，如果你吃早餐麥片，你更有可能生男孩，在受孕期間和前後吃早餐麥片。 |
| 我和我的兩個同夥看了這個，我們要求提供數據。 我們得到了數據，然後我們發表了對第一篇論文的反駁，說穀物引起的性別選擇很可能是多重測試假陽性。 |
| 在受孕前的時間...預測受孕，就在受孕前後。 每份問卷中有 131 種食物，總共進行了 262 次統計測試。 |
| 您計算這些測試的 P 值，將它們從最小到最大排序，然後將它們與整數進行對比（這是底部的排名）， |
| 您會看到看起來很不錯的 45 度線。 因此，我們正在研究均勻分佈。 現在他們的主張來自左下角，他們說，嗯，這是一個小的 P 值。 小 P 值表示吃麥片...早餐麥片會導致更多 |
| 男孩嬰兒。 |
| 很明顯是統計上的誤報。 |
| P 值圖。 因此，我們將大量使用 P 值圖。 在左側，我們看到了一個可能為真零假設的 P 值圖。 |
| 老年人長期運動訓練不會導致死亡或死亡風險。 在右邊，我們有吸煙和肺癌。 |
| 我們看到一大堆 P 值幾乎接近於零，一直在整個頁面上，右邊還有一些散亂的人。 所以這張右邊的圖片是真實效果的證據，左邊的圖片是零假設的支持，沒有效果。 |
| 讓我們談談元分析，因為我將在本次講座中使用它們。 在左邊，我們看到一個漏斗，我們看到很多論文掉進了這個漏斗。 |
| 流行病學家或任何進行元分析的人會挑選他們認為高質量的論文，並將其用於進一步分析。 在右邊，我們看到...那種 |
| 證據層次。 考慮了對許多研究的薈萃分析 |
| 高層信息再往下，專家意見等等。 所以你爬上金字塔越高， |
| 人們認為證據更好。 |
| 我們將看兩個示例元分析論文。 第一篇論文由 Orellano 撰寫。 |
| 一氧化氮、臭氧、 |
| 小顆粒等等。 它收集了來自世界各地的數據...... |
| 世界，這是由 |
| 世衛組織，所以這是高質量的資金，高質量的論文。 |
| 這是一個元分析。 我們將看看該元分析中的主張是否成立。 |
| 最下面的那個真的很好笑。 紅肉和加工肉類的消費模式以及肺癌和心髒病發作的風險。 |
| 營養文獻中有很多文獻，說你真的不應該吃紅肉。 我們將看看這是否......如果這有意義。 |
| 讓我們回過頭來看看拼圖的部分，然後看看它們是如何組合在一起的。 |
| 我們從公開文獻中得知，大多數聲明都無法複製。 這被稱為科學危機。 P-hacking 是個問題。 P-hacking 正在運行大量測試，嘗試這個和嘗試那個，然後，當你發現 P 值小於 0.05 時， |
| 你可以寫一篇論文。 |
| 我們將使用元分析和 P 值圖來捕捉基本上是 P-hacking 的人，我稱 P-hacking 是一種用統計數據作弊的行為。 |
| 其他人，你知道，很少......描述它有點不同。 我們將使用 JMP 插件。 這些 JMP 插件由 Paul Fogle 編寫。 |
| 它們使我們能夠從元分析論文開始，快速輕鬆地生成 P 值圖。 我們還將描述 Fisher 的 P 值組合，然後我們...... |
| 有一個小腳本，該腳本將採用 JMP 產生的雙向圖，然後對其進行清理，從而使左右邊距更...更具吸引力。 |
| 那麼這裡是長期暴露於空氣污染和 |
| 導致哮喘，所以他們說。 在左邊，我們有所謂的樹形圖。 那是... |
| 它看起來有點像一棵聖誕樹。 |
| 平均值以點的形式給出，然後置信限是兩邊的鬍鬚。 左邊是論文的名字……這些作者選擇的論文，右邊是 |
| 風險比和置信限。 現在，您通常可以將風險比和置信度限制去掉，然後將它們放入一個 |
| JMP 數據集，所以我們在右邊看到了 JMP 數據集。 |
| 現在是 P 值圖。 |
| Paul Fogle 寫的東西是將這些風險比和 P... 以及置信限轉換為 P 值。 |
| 在這裡我們看到它已經完成了。 |
| 置信限可以為您提供標準誤差。 |
| 使用風險比和標準誤差，您可以計算 Z 統計量。 然後您可以獲取 Z 統計量並獲得 P 值。 在右側，我們看到了一個 P 值圖，就像在 JMP 中單擊幾下一樣。 |
| 再一次，在左邊，我們有粗略的 P 值圖，在右邊，使用一個小腳本後，我們添加零線，我們添加 0.05 的虛線，我們清理並擴展上的數字 |
| X 和 Y 軸。 因此，我們現在可以查看並判斷那件事中的所有研究，但我們看到了一件相當奇怪的事情。 我們看到 |
| 所有這一切，有幾個 P 值低於 0.05，然後很多 P 值上升，所以我們的情況很模糊。 |
| 一些 P 值看起來聲稱是正確的，而另一些看起來只是隨機發現。 |
| 讓我們看一下 Fisher 的 P 值組合。 在左邊，我們有公式。 您取 P 值，取自然對數，將它們相加乘以 -2。 |
| 這給了你一個卡方。 你查查表中的卡方。 所以這個......這個元分析，我們有P值。 在 P 值下，我們有 -2ln，您會看到很少有很小的 P 值可以顯著增加總和。 |
| 如果您稍微思考一下，總和就像所有總和一樣，它會受到異常值的影響……大大改變了平衡。 |
| 因此，少數小的 P 值 (.0033, .0073) 極大地增加了卡方的總和。 事實上，總和並不穩健。 一個異常值......一個極端異常值可以傾斜整個......整個等式。 |
| 現在請記住，P-hacking 會導致 P 值較小，而且， |
| 科學家們經常，如果一項研究結果並不重要，他們甚至不會發表它。 |
| 如果他們發現一些重要的東西，他們通常會。 所以有發表偏見。 整個文獻都充斥著小的 P 值 |
| 而這可能……這只是冰山一角。 冰山下是所有可能發生的出版物，但它們沒有統計學意義。 |
| 我們現在來看一項空氣污染研究。 2012年的穆斯塔夫 |
| 在 JAMA 上發表論文，他研究了六種典型的空氣污染 |
| 一氧化碳、一氧化二氮、小顆粒（即 PM 2.5）、二氧化硫等。 |
| 如果您查看這些 P 值圖，它們基本上看起來都像曲棍球棒。 有許多 P 值小於 0.05。 |
| 但隨後有大量 P 值沿 45 度線上升，表明沒有影響。 |
| 我們爭辯說我們正在尋找一種混合物。 我們正在研究重要研究和非重要研究的混合體。 |
| 我們進一步爭辯說，重要的研究主要來自 P-hacking。 還有其他可能出現的方式，但我們認為 P-hacking 是問題所在。 所以如果你看這裡的左邊， |
| 在紅色框中，我們給出中位數 |
| 可以在一項研究中進行的模型或測試，Mustafic 論文中的研究。 |
| 我們數了數 |
| 結果、預測變量和協變量，如果你把它們全部相乘，中位數，我們稱之為搜索空間，中位數搜索空間是 12,288。 |
| 這意味著作者平均有 12 次……在中位數中，有 12,000 次機會獲得低於 0.05 的 P 值。 他們有很大的餘地來獲得具有統計意義的結果。 |
| 我們將在這裡查看用於營養研究的簡單計數。 所以我們這裡有 15 項研究。 作者，或論文的第一作者。 |
| 然後在頂部您會看到結果、預測變量、協變量、測試、模型和搜索空間。 結果，如果他們查看三個健康結果，例如 Dixon，如果他們有 51 |
| 他們研究中的食物，那將......那些將是預測因素。 現在如果他們使用協變量， |
| 這將大大增加搜索空間。 你可以看到，對於 Dixon，理論上，他可以完成 2000 萬次可能的分析。 |
| 如果您向下查看搜索空間列，您會看到大量可以進行的分析。 |
| 營養研究是在隊列中進行的。 一個隊列是一群被收集起來的人， |
| 他們最初是用問題來衡量的，然後他們會隨著時間的推移而等待，然後他們會研究對健康的影響。 |
| 這些群組中的每一個都具有該群組使用的數據集的名稱。 |
| 並且這些群組一旦集合起來，就可以用來問，你知道的，無數個問題。 |
| 如果 |
| 其中一個問題的 P 值顯著 |
| 他們覺得他們可以寫一篇論文，他們經常這樣做。 |
| 所以，在最後兩列中，我們看到論文的數量 |
| 這可能會出現。 還有更多……我們使用了 Google Scholar 並且我們確實檢查了它。 這些是文獻中出現的論文數量 |
| 與這些隊列中的每一個相關聯。 我要補充一點，我們已經查看了很多這樣的論文，並且在這些論文中沒有一篇對多重測試或多重建模進行任何調整。 |
| 營養流行病學、環境流行病學，這些都是我們在這裡討論的。 營養流行病學使用問卷，食物頻率問卷（FFQ）。 |
| 在 FFQ 中，您可以吃一些食物。 |
| 最初，他們從 61 種食物開始，我看過一些 FFQ 研究，其中有 800 種食物。 我不想成為那個填寫問卷的人。 |
| 但這裡給出的是隨著時間的推移使用 FFQ 的論文數量。 |
| 自 1985 年以來……該技術於 1986 年發明……自 1985 年以來，已有 74,000 篇 FFQ 論文，根據我們對它們的觀察，這些論文都沒有針對多次測試進行調整，並且所有論文都具有相當大的統計搜索空間. |
| 環境流行病學，我只是在論文標題中的“空氣污染”一詞上進行了谷歌搜索。 |
| 在這裡我們看到，隨著時間的推移，已經有 28-29,000 篇關於空氣污染的論文。 |
| 據我所知，基於大量的研究，這些論文都沒有針對多重測試或多重建模進行調整，而且所有這些論文都有很大的……基本上所有這些論文都有很大的搜索空間。 |
| 元分析進入系統評價和元分析的名稱，最近，從 2005 年開始， |
| 期刊有 |
| 在論文的標題中使用了該術語。 所以從 2005 年開始，我問論文的標題中是否出現了“系統評價”和“元分析”這兩個詞，你可以看到開始的時候很低，每年 1500 篇論文。 |
| 在這五年期間和最終在 2021 年發表了 1,500 篇論文 |
| 總共有27,000篇論文，所以這是一個家庭手工業。 這些論文可以相對容易地製作出來。 |
| 一個團隊，通常在中國有 10 人或 5 到 15 人，每周可以進行一項元分析。 |
| 他們的薪水取決於他們發表的論文數量等等。 |
| 據我所知，這些都是……這些研究中有一半是觀察性研究，一半是……來自隨機臨床試驗。 |
| 到目前為止，幾乎所有這些以及我們所看到的所有這些，尤其是在觀察性研究中，都沒有這種曲棍球棒的外觀，就像有一些 P 值很小並且有一堆 P 值看起來完全隨機。 |
| 我會說所有...基本上所有這些研究都是由您的稅金或某人的稅金資助的。 他們得到了公共錢包的慷慨資助，這是一種說法。 |
| 許多索賠沒有統計支持。 基礎文件不適合多重測試和多重建模。 基礎論文具有較大的分析搜索空間。 |
| 我們已經看到環境流行病學和營養流行病學的例子，我會說，根據證據，大多數人是不可靠的。 |
| 我說，其他人也說過，我們有一場科學和統計災難，使用元分析和 P 值圖，這些說法要么被證實為真，要么被證實為假。 |
| 這裡我們有四種霧霾情況。 左上角是 1952 年的倫敦； |
| 右邊是 1948 年的洛杉磯。 |
| 左下角是新加坡，我不確定……我不記得確切的年份。 然後我們有北京。 這些是最近的。 |
| 在倫敦大霧的情況下，對死亡的統計分析……每天的死亡人數和一切都表明，1952 年倫敦在三到四天的時間內發生了超過 4,000 人死亡。 這激起了流行病學家對兇手的興趣。 |
| 其他三張幻燈片或其他三張圖片，在這些時間段內沒有報告死亡人數增加。 |
| 令人震驚的是，在倫敦，他們在燒煤 |
| 供暖和其他一切。 有一個溫度反轉，爭論是空氣中的酸被顆粒攜帶到下肺和易感個體，通常是年老體弱的人，死亡人數增加，但現在沒有發生這種情況 |
| 世界各地。 世界各地都有各種各樣的污染，我們沒有看到與之相關的死亡率飆升。 |
| 騙局？ 哈哈。 我喜歡詐騙。 |
| 這些是騙局嗎？ 空氣污染致死。 FFQ 研究中的任何聲明，例如，如果你喝咖啡，你更有可能患胰腺癌。 這是可能不正確的說法之一。 |
| 自然水平的臭氧，它們會殺死嗎？ 我認為這也不是真的。 環境雌激素。 來自使用觀察性研究的薈萃分析的任何聲明。 |
| 請記住，公共文獻中的證據是，通常來自大學的 80% 的科學聲明在經過嚴格測試（例如在隨機臨床試驗中）時未能複制。 |
| 情緒和恐懼。 實際政治的全部目的是讓民眾受到威脅、害怕，因此吵鬧著要通過無窮無盡的大地精來威脅民眾，這些妖精都是虛構的。 |
| Flim flam、欺騙、信任遊戲涉及......涉及巧妙的說服或巧妙地操縱受害者。 所以HL 1930 年代的門肯說，實際政治在很大程度上是恐嚇政治。 |
| 我們在本次演講中結束了本文的作者。 我是 Stan Young，可以通過genetree@bellsouth.net 與我聯繫。 Warren Kindzierski 是加拿大的流行病學家，在過去的幾年裡，他一直與我密切合作，研究 |
| 是基於我們今天在這裡看到的東西。 Paul Fogel 是一位非常有趣的統計學家，住在巴黎，他負責編寫 |
| 我們可以使用的加載項和腳本。 我會說這些腳本可以讓你在不到一個小時的時間內從元分析到評估。 |
| 我想推薦全國學者協會報告，流沙報告 1，這個 URL 將帶您到達那裡。 |
| 這份報告涉及空氣質量和健康影響，是一份冗長且涉及內容簡單但簡單的統計報告。 |
| 因此，我還將提出以下聲明，如果有人觀看此視頻想嘗試一下發生了什麼，我們將為您提供 JMP 的腳本和插件，然後我什至會幫助您 |
| 查看並解釋您對元分析的特定分析。 因此，我會停下來，準備回答任何問題。 謝謝你。 |
