756792_zh-TW

liliconcom

用於評估多項研究的 JMP 外掛程式和腳本 (2021-US-30MP-902)

斯坦·楊，CGStat首席執行官
華倫‧金齊爾斯基，流行病學家，阿爾伯塔大學

保羅‧福格爾，顧問，巴黎

研究人員每年發表數千項研究，其中多項研究針對相同或相似的問題，並透過統合分析進行全面評估。因此，有必要了解這些研究及其基礎研究的可靠性。我們的想法是檢視各項研究的可靠性，以及用於合併各項研究資訊的統計方法，通常是風險比及其信賴區間。目前，我們已經考察了約 100 項薈萃分析研究，以及其基礎研究的完整或隨機樣本。我們開發了 JMP 外掛程式和腳本，並將其發佈出來，以方便評估統合分析研究的可靠性，包括 p 值圖（兩個外掛程式）和 Fisher 合併 p 值（一個腳本）。簡言之，薈萃分析研究在統計上並不可靠。我們的報告透過多個實例，展示了我們的研究結果，這些結果支持以下觀點：文獻中超過一半的結論不太可能被重複驗證。

自動產生的成績單…

揚聲器	文字稿
史丹楊	哈哈。
薩拉·杜特	允許你這樣做。
史丹楊	現在可以看到所有東西了。
	好吧，喔不，我這邊要負責幻燈片播放嗎？
薩拉·杜特	對，對，就像普通會議一樣。
	好了，好的，酷，確保我什麼都準備好了，如果我離目標很近的話。好的，我們正在錄製，我需要，我要，我要關掉我的攝像頭，僅供參考，然後。
	好的。
史丹楊	現在只需排序即可全螢幕顯示。
	如何做到這一點。
薩拉·杜特	就是底部那個，就像那樣，上面寫著關於他們行為的備註，佔34%，就是那個看起來像a的。
	順著船下去，是的，很抱歉，那很糟糕，在那個人的另一邊。
	是的，就是他。
史丹楊	哈哈。
薩拉·杜特	你先走吧，我是說，我馬上就要開始了，但我得先自我介紹一下，在我們開始之前，你有什麼問題嗎？
史丹楊	或者說，你真的會錄下我的演講和投影片內容嗎？
薩拉·杜特	是的，他們問你是否擁有。
	這裡的攝影機。
	除此之外就沒問題了。
	正確的。
	好的。
史丹楊	我準備出發了。
薩拉·杜特	我要把自己靜音了，如果你有任何問題或需要停止，請告訴我，否則我就不會打擾你了。
史丹楊	去。
	今天我將介紹用於評估多項研究的 JMP 插件和腳本。或者你也可以稱之為如何識別 p 值作弊者、統計學造假者，或者解釋為什麼大多數科學論點都是錯的。
	我首先要描述一下這些拼圖部件以及它們是如何組合在一起的。大多數說法其實無法重複驗證。這些都是科學論斷。
	我和我的合作者都認為，這是由於p值操縱造成的，而且這是一個嚴重的問題。我們將使用薈萃分析和p值圖來揭露這種行為，這就是抓捕騙子的方法。
	JMP外掛程式和腳本提供的是風險比和信賴區間的P值，這些資料來自薈萃分析。
	然後是 Fisher 的 P 值合併，這是一種類似於統合分析技術的古老方法。接下來我們將展示一個 P 值圖，我們有一個小腳本可以清理並使其更易於展示。
	圖片。
	我們看到天上有一隻兔子。天上有很多雲，如果你在晴朗的日子裡坐在戶外環顧四周，你很可能會發現一隻兔子。
	所以這只是個隨機事件。當然，兔子們其實並不在天上。
	Gelman 和 Loken 實際上發表了一篇小文章，指出科學界存在統計危機，人們錯誤地使用了統計數據，這就是我們今天要討論的內容。
	我們來做個流行病學實驗。
	我們有十面骰子，紅、白、藍三種顏色。它們會變成數字（在這個例子中是0.046）。讓我們親眼見證這個過程。
	現在我們得到了一個 P 值。它是隨機的。是你自己算出來的。這太有趣了，我們再來一次怎麼樣？
	紅色，白色，
	還有藍色。
	現在，如果你重複這個步驟 60 次，就可以把表格填滿了。這是我用十面骰子做的模擬。你可以看到表格中有四列十五行，每行代表一個 P 值。所以總共有 60 個 P 值。我得到的最小 P 值是 0.004。
	有了這60個P值，你就可以計算出各種機率。大約95%的情況下，至少會有一個P值小於0.05。
	這是我女兒做的實驗。她得到了三個小於0.05的P值；圖中已圈選。看來要做個流行病學實驗真是太容易了。
	甚至我的妻子帕特也能做到，她這裡有三篇潛在的論文，她可以根據擲骰子和編造一個好故事來寫。
	P 值都帶有期望值。所以在右側，我們有 P 值分別為 0.004、0.016 和 0.012。每個 P 值對應一個常態偏差。你可以看到，0.004 的常態偏差為 2.9，以此類推。在左側，我們有
	樣本量、預期偏差、最小 P 值對應的預期 P 值以及偏差。所以如果我們有 400 個樣本
	我們正在研究的問題，預期 P 值為 0.00487，偏差值為 2.968。現在，正是這個偏差從基礎實驗傳遞到薈萃分析的計算中，我們將在後續內容中看到這一點。
	流行病學中有多少論斷是正確的？我曾在2011年發表過一篇論文，其中引用了一些觀察性研究中提出的論點。
	對於觀察性研究中提出的每項主張，我都找到了一項隨機臨床試驗，該試驗研究的正是相同的問題。因此，在12項研究中，共有
	52項可以提出並檢驗的主張。
	如果你看一下「正」列，會發現這 52 個索賠中沒有一個是按正確方向複製的。
	所以，流行病學家提出的52項主張全部落空。實際上，有五項主張具有統計意義，但它們的方向與觀察性研究中提出的主張相反。
	我們將來看一個
	這個問題有點瘋狂。吃麥片能決定人的性別嗎？也就是說，如果你早餐吃麥片，生男孩的幾率會比較高嗎？嗯，第一篇論文就是這麼說的。
	這篇論文發表在《皇家學會B輯》（Royal Society B）上，這是英國頂尖的生物學期刊。這三位合著者聲稱，如果你在受孕前後吃早餐麥片，生男孩的幾率會更高。
	我和我的兩個同事研究了這個問題，我們索取了數據。我們獲得了數據，然後發表了一篇反駁第一篇論文的文章，指出穀物引起的性別選擇很可能是多重檢定的假陽性結果。
	在受孕前不久…預測受孕時間，以及受孕前後。每份問卷包含131種食物，總共進行了262次統計檢定。
	計算這些檢定的 P 值，按從小到大的順序排列，並將它們與整數（即底部的排名）進行比較繪製。
	你看，這看起來像是一條相當不錯的 45 度線。所以我們看到的是一個均勻分佈。他們的說法來自這條線的左下角，他們說，這裡有一個很小的 P 值。這個很小的 P 值表明，吃穀物…早餐穀物會導致更多
	男嬰。
	很明顯，這是一個統計學上的假陽性結果。
	P值圖。所以我們會常用到P值圖。左邊這張圖展示的是一個可能為真的零假設的P值圖。
	老年人長期堅持運動不會導致死亡或增加死亡風險。右邊是抽菸和肺癌。
	我們看到頁面上大部分 P 值都接近零，只有少數幾個在右側。因此，右側的圖片顯示存在真實效應，而左側的圖片則支持零假設，即不存在效應。
	我們來談談薈萃分析，因為我將在本次講座中使用它。左邊是一個漏斗圖，可以看到很多論文都掉進這個漏斗裡了。
	流行病學家或其他進行薈萃分析的人員會挑選他們認為高品質的論文，並用這些論文進行進一步分析。在右側，我們看到…某種程度上…
	證據等級。對多項研究進行薈萃分析被認為是一種有效的證據等級。
	先是高層訊息，然後是底層的專家意見等等。所以，你越往上爬，就越能理解金字塔的結構。
	人們認為證據更充分。
	我們將來看兩篇統合分析論文的例子。第一篇論文是Orellano寫的。
	一氧化氮、臭氧、
	微小顆粒等等。它收集了來自世界各地……世界各地的數據。
	世界，而這是由…贊助的
	世界衛生組織，所以這是高品質的資金，高品質的論文。
	這是一項薈萃分析。我們將檢驗這項薈萃分析的結論是否成立。
	最後那張圖真的很有趣。它分析了紅肉和加工肉類的消費模式與肺癌和心臟病風險之間的關係。
	營養學文獻中有很多文章指出，你真的不應該吃紅肉。我們將看看這種說法是否…是否合理。
	讓我們回顧一下拼圖的各個部分，然後看看它們是如何組合在一起的。
	我們從公開文獻中得知，大多數研究結果都無法重複驗證。這被稱為科學危機。 P值操縱是一個問題。 P值操縱是指進行大量測試，嘗試各種方法，然後，當發現P值小於0.05時，
	你可以寫一篇論文。
	我們將使用統合分析和 P 值圖來抓取那些進行 P 值操縱的人，我把 P 值操縱稱為統計上的作弊行為。
	其他人，你知道，就有點……他們用另一種方​​式描述。我們將使用 JMP 插件。這些 JMP 插件是由 Paul Fogle 編寫的。
	它們使我們能夠從一篇薈萃分析論文入手，快速便捷地產生 P 值圖。我們也將介紹 Fisher 的 P 值合併方法，然後…
	編寫一個小腳本，它可以讀取 JMP 產生的雙向圖，然後對其進行清理，使左右邊距更加美觀。
	長期暴露於空氣污染會造成以下後果：
	他們說，這會導致氣喘。左邊是所謂的樹狀圖。那就是…
	它看起來有點像聖誕樹。
	平均值以點表示，信賴區間以兩側的須線表示。左側是論文名稱…這些論文是由這些作者選擇的，右邊是…
	風險比率和信賴區間。現在，您通常可以直接提取風險比率和置信區間，並將其放入…
	JMP 資料集，因此我們在右側看到了 JMP 資料集。
	現在來看 P 值圖。
	Paul Fogle 寫的這篇文章將風險比、P 值和信賴區間轉換為 P 值。
	這裡我們看到這件事已經完成了。
	信賴區間可以給出標準誤差。
	利用風險比和標準誤差，您可以計算 Z 統計量。然後，您可以利用 Z 統計量來獲得 P 值。右側顯示的就是 P 值圖，就像在 JMP 中點擊幾下滑鼠後得到的那樣。
	同樣，左側是粗略的 P 值圖，右側經過一個簡單的腳本處理後，我們添加了零線、0.05 的虛線，並對數字進行了清理和擴展。
	X軸和Y軸。所以我們現在可以查看並評估所有納入其中的研究，但我們發現了一個相當奇怪的現象。我們發現…
	這裡有一些 P 值小於 0.05，然後又有很多 P 值增大，所以我們面臨一個模稜兩可的情況。
	有些 P 值看起來似乎支持這一說法，而有些 P 值看起來則像是隨機發現。
	我們來看看費雪的P值合併方法。左邊是公式：取P值，取自然對數，然後將結果相加，再乘以-2。
	這樣就得到了卡方值。你可以在卡方表中找到卡方值。所以，在這個統合分析中，我們有 P 值。在 P 值一欄中，我們看到 -2ln，你會發現很少有 P 值很小，但它們對總和的影響卻很大。
	稍微思考一下就會發現，這個總和和其他所有總和一樣，都會受到異常值操縱的影響…從而導致結果發生顯著變化。
	因此，少數幾個較小的 P 值（0.0033、0.0073）對卡方值的總和產生了顯著影響。事實上，這個總和並不穩健。一個異常值…一個極端異常值就可能顛覆整個等式。
	請記住，P值操縱會導致P值偏小，而且，
	科學家經常會遇到這種情況：如果一項研究結果不具有統計意義，他們甚至根本不會發表。
	如果他們發現了重要的結果，通常都會被發現。所以存在發表偏倚。整個文獻中充斥著很小的P值。
	而這可能……只是冰山一角。冰山之下是所有可能發表但統計學意義不顯著的文章。
	我們現在要來看一份空氣污染研究報告。 Mustafic 於 2012 年發表。
	他在《美國醫學會雜誌》（JAMA）上發表了一篇論文，研究了六種典型的空氣污染。
	一氧化碳、一氧化二氮、細懸浮微粒（即 PM2.5）、二氧化硫等。
	如果你觀察這些P值圖，你會發現它們基本上都像曲棍球棒一樣。其中有很多P值小於0.05。
	但是，有相當多的 P 值沿著 45 度線上升，表示沒有影響。
	我們認為我們看到的是混合結果。我們看到的是既有重要研究也有不重要研究的混合結果。
	我們進一步認為，這些重要的研究大多源自於P值操縱。當然，也可能有其他方法，但我們認為P值操縱才是關鍵所在。所以，如果你看一下左邊的內容，
	紅色方框中給的是中位數。
	在研究中可以進行的模型或測試，即 Mustafic 論文中的研究。
	我們統計了數量
	結果、預測因子和協變量，如果將它們全部相乘，中位數（我們稱之為搜尋空間）為 12,288。
	這意味著，平均而言，作者有 12 次機會（中位數為 12,000 次）獲得 P 值小於 0.05 的結果。他們有很大的餘地獲得具有統計意義的結果。
	我們將在這裡簡單統計一下營養研究的數量。這裡有15項研究。論文的作者，或者說第一作者。
	然後，在頂部可以看到結果、預測因子、協變量、檢定、模型和搜尋空間。例如，如果他們研究了三種健康結果，例如 Dixon 的結果，並且他們有 51 個樣本。
	他們研究的食物，那些…會成為預測因子。現在，如果他們使用協變量，
	這將大大擴展搜尋範圍。你可以看到，對迪克森來說，理論上他可以進行兩千萬種可能的分析。
	如果你查看搜尋空間列，你可以看到可以進行大量的分析。
	這些營養研究都是以隊列為研究對象進行的。隊列是指收集起來的一組人群。
	他們首先透過問卷調查來衡量，然後隨著時間的推移，觀察其對健康的影響。
	每個隊列都有一個與其使用的資料集同名的名稱。
	一旦這些小組組成完成，就可以利用他們提出無數個問題。
	如果
	其中一個問題的P值顯著。
	他們覺得自己可以寫論文，而且他們常常真的會寫論文。
	因此，在最後兩列中，我們看到的是論文的數量。
	這可能會出現。還有更多……我們使用了谷歌學術搜索，並且實際核實過。所以這些是已發表在文獻中的論文數量。
	與這些隊列相關的。我還要補充一點，我們查閱了很多這類論文，但沒有一篇論文對多重檢驗或多重建模進行任何調整。
	我們這裡討論的是營養流行病學和環境流行病學。營養流行病學使用問卷調查，即食物頻率問卷（FFQ）。
	在食物頻率問卷（FFQ）中，你可以列出一定數量的食物。
	最初，他們只列出了61種食物，但我看過一些食物頻率問卷研究，裡面竟然包含了800種食物。我可不想填寫那樣的問卷。
	但這裡給出的是隨著時間的推移，使用 FFQ 的論文數量。
	自 1985 年以來……該技術於 1986 年發明……自 1985 年以來，已有 74,000 篇 FFQ 論文發表，根據我們對這些論文的觀察，沒有一篇論文對多重檢定進行調整，而且所有這些論文的統計搜尋空間都非常大。
	環境流行病學，我只是在谷歌上搜尋了論文標題中的「空氣污染」一詞。
	由此可見，隨著時間的推移，已經發表了 28,000 至 29,000 篇關於空氣污染的論文。
	據我所知，經過大量查閱，這些論文都沒有對多重測試或多重建模進行調整，而且所有這些論文的搜索空間都非常大……基本上所有這些論文的搜索空間都非常大。
	Meta 分析包含在系統性回顧和 Meta 分析的名稱中，並且，最近從 2005 年開始，
	期刊有
	在論文標題中使用了該術語。因此，從 2005 年開始，我詢問論文標題中是否出現「系統性回顧」和「薈萃分析」這兩個詞，你可以看到，最初數量很少，每年只有 1500 篇論文。
	五年間共發表了1500篇論文，最後在2021年，有
	總共出版了27000篇論文，所以這屬於家庭作坊式生產。這些論文相對容易生產。
	在中國，一個團隊通常由 10 人或 5 到 15 人組成，每周可以完成一項薈萃分析。
	他們的薪酬是根據發表的論文數量等因素來評定的。
	據我所知，這些研究……一半是觀察性研究，一半來自隨機臨床試驗。
	到目前為止，在我們研究過的所有研究中，尤其是在觀察性研究中，幾乎沒有一個呈現出這種曲棍球棒狀，即有些 P 值很小，而許多 P 值看起來完全隨機。
	我要說的是，所有這些研究……基本上都是用你們的稅金或其他人的稅金資助的。換句話說，它們是由公共資金慷慨資助的。
	許多論斷缺乏統計學支持。基礎論文沒有對多重檢定和多重建模進行校正。基礎論文的分析搜尋空間過大。
	我們已經從環境流行病學和營養流行病學中看到了例子，我認為根據證據來看，大多數人的說法是不可靠的。
	我說過，其他人也說過，我們正面臨科學和統計學的災難，以及統合分析和 P 值圖的使用，這些說法要不是真，就是假。
	這裡展示了四種霧霾情景。左上角是1952年的倫敦；
	右圖為 1948 年的洛杉磯。
	左下角是新加坡，我不確定……我已經記不清確切的年份了。然後是北京。這些都是最近的照片。
	以倫敦大霧為例，對死亡人數的統計分析……每日死亡人數等等都表明，1952 年倫敦在三到四天內發生了 4000 多人死亡。這引起了流行病學家對死因的興趣。
	另外三張投影片或三張圖片顯示，在這些時間內，死亡人數並未明顯增加。
	真相是，在倫敦，他們正在燒煤。
	用於暖氣和其他一切用途。當時出現了逆溫現象，有人認為空氣中的酸性物質會隨顆粒物進入下肺，導致易感人群（通常是老年人和體弱者）死亡人數增加，但這種情況現在已經不再發生了。
	世界各地都存在著各種各樣的污染，但我們並沒有看到死亡率因此而飆升。
	騙局？哈哈，我喜歡騙局。
	這些都是騙局嗎？空氣污染會致命。例如，任何基於食物頻率問卷調查的研究都可能得出這樣的結論：喝咖啡更容易罹患胰臟癌。這很可能是不實的說法之一。
	天然臭氧濃度會致死嗎？我認為這種說法也不成立。環境雌激素。任何基於觀察性研究的薈萃分析得出的結論都不可信。
	請記住，公開文獻中的證據表明，80% 的科學論點（通常來自大學）在經過嚴格測試（例如隨機臨床試驗）時未能重複驗證。
	情緒和恐懼。實用政治的全部目的就是讓民眾始終處於威脅、恐懼之中，從而讓他們渴望被引導到安全的地方，而這可以透過不斷用一系列虛構的妖魔鬼怪來威脅民眾來實現。
	欺詐、欺騙、詐騙遊戲，都涉及巧妙的勸說或對受害者的巧妙操縱。正如H·L·門肯在1930年代所說，實際的政治在很大程度上就是恐嚇政治。
	最後，我們來介紹一下本次演講的作者們。我是斯坦楊，可以透過 genetree@bellsouth.net 聯繫我。華倫‧金齊爾斯基是一位加拿大流行病學家，在過去的幾年裡，他一直與我密切合作撰寫論文。
	這些都是基於我們今天在這裡看到的內容。保羅·福格爾是一位非常有趣的統計學家，他住在巴黎，他負責撰寫了…
	我們可以使用一些插件和腳本。我可以說，這些腳本可以讓你在不到一小時的時間內完成從元分析到評估的整個過程。
	我推薦全國學者協會的報告《Shifting Sands Report 1》，點擊此連結即可查看。
	這份報告篇幅較長，內容詳盡，但統計方法簡單易懂，主要討論了空氣品質及其對健康的影響。
	此外，我還要聲明一點：如果有人想嘗試一下，我們會提供 JMP 的腳本和插件，我甚至還會提供幫助。
	請您審閱並解讀您對此薈萃分析的具體分析。我就說到這裡，準備好回答任何問題。謝謝。

進階統計建模自動化和腳本編寫基礎資料分析與建模消費者與市場研究資料融合與清理數據探索與視覺化實驗設計大規模客製化預測建模和機器學習品質與工藝工程可靠度分析分享和交流成果