756792_zh-CN

liliconcom

用于评估多项研究的 JMP 插件和脚本 (2021-US-30MP-902)

斯坦·杨，CGStat首席执行官
沃伦·金齐尔斯基，流行病学家，阿尔伯塔大学

保罗·福格尔，顾问，巴黎

研究人员每年发表数千项研究，其中多项研究针对相同或相似的问题，并通过荟萃分析进行综合评估。因此，我们需要了解这些研究及其基础研究的可靠性。我们的想法是考察各项研究的可靠性，以及用于合并各项研究信息的统计方法，通常是风险比及其置信区间。目前，我们已经考察了约100项荟萃分析研究，以及其基础研究的完整或随机样本。我们开发了JMP插件和脚本，并将其发布出来，以方便评估荟萃分析研究的可靠性，包括p值图（两个插件）和Fisher p值合并（一个脚本）。简而言之，荟萃分析研究在统计学上并不可靠。我们的报告通过多个实例，展示了我们的研究结果，这些结果支持了文献中超过一半的结论难以重复的观点。

自动生成的成绩单……

扬声器	文字稿
斯坦·杨	哈哈。
萨拉·杜特	允许你这样做。
斯坦·杨	现在可以看到所有东西了。
	好吧，哦不，我这边要负责幻灯片播放吗？
萨拉·杜特	对，对，就像普通会议一样。
	好了，好的，酷，确保我什么都准备好了，如果我离目标很近的话。好的，我们正在录制，我需要，我要，我要关掉我的摄像头，仅供参考，然后。
	好的。
斯坦·杨	现在只需排序即可全屏显示。
	如何做到这一点。
萨拉·杜特	就是底部那个，就像那样，上面写着关于他们行为的备注，占34%，就是那个看起来像a的。
	顺着船下去，是的，很抱歉，那很糟糕，在那个人的另一边。
	是的，就是他。
斯坦·杨	哈哈。
萨拉·杜特	你先走吧，我是说，我马上就要开始了，但我得先自我介绍一下，在我们开始之前，你有什么问题吗？
斯坦·杨	或者说，你真的会录下我的讲话和幻灯片内容吗？
萨拉·杜特	是的，他们问你是否拥有。
	这里的摄像头。
	除此之外就没问题了。
	正确的。
	好的。
斯坦·杨	我准备出发了。
萨拉·杜特	我要把自己静音了，如果你有任何问题或者需要停止，请告诉我，否则我就不打扰你了。
斯坦·杨	去。
	今天我将介绍用于评估多项研究的 JMP 插件和脚本。或者你也可以称之为如何识别 p 值作弊者、统计学造假者，或者解释为什么大多数科学论断都是错误的。
	我首先要描述一下这些拼图部件以及它们是如何组合在一起的。大多数说法实际上都无法重复验证。这些都是科学论断。
	我和我的合作者都认为，这是由于p值操纵造成的，而且这是一个严重的问题。我们将使用荟萃分析和p值图来揭露这种行为，这就是抓捕骗子的方法。
	JMP插件和脚本提供的是风险比和置信区间的P值，这些数据来自荟萃分析。
	然后是 Fisher 的 P 值合并，这是一种类似于元分析技术的古老方法。接下来我们将展示一个 P 值图，我们有一个小脚本可以清理并使其更易于展示。
	图片。
	我们看到天上有一只兔子。天上有很多云，如果你在晴朗的日子里坐在户外环顾四周，你很可能会发现一只兔子。
	所以这只是个随机事件。当然，兔子们实际上并不在天上。
	Gelman 和 Loken 实际上发表了一篇小文章，指出科学界存在统计危机，人们错误地使用了统计数据，这就是我们今天要讨论的内容。
	我们来做个流行病学实验。
	我们有十面骰子，红、白、蓝三种颜色。它们会变成数字（在这个例子中是0.046）。让我们亲眼见证这个过程。
	现在我们得到了一个 P 值。它是随机的。是你自己算出来的。这太有趣了，我们再来一次怎么样？
	红色，白色，
	还有蓝色。
	现在，如果你重复这个步骤 60 次，就可以把表格填满了。这是我用十面骰子做的一个模拟。你可以看到表格中有四列十五行，每行代表一个 P 值。所以总共有 60 个 P 值。我得到的最小 P 值是 0.004。
	有了这60个P值，你就可以计算出各种概率。大约95%的情况下，至少会有一个P值小于0.05。
	这是我女儿做的一个实验。她得到了三个小于0.05的P值；图中已圈出。看来做个流行病学实验真是太容易了。
	甚至我的妻子帕特也能做到，她这里有三篇潜在的论文，她可以根据掷骰子和编造一个好故事来写。
	P 值都带有期望值。所以在右侧，我们有 P 值分别为 0.004、0.016 和 0.012。每个 P 值都对应一个正态偏差。你可以看到，0.004 的正态偏差为 2.9，以此类推。在左侧，我们有
	样本量、预期偏差、最小 P 值对应的预期 P 值以及偏差。所以如果我们有 400 个样本
	我们正在研究的问题，预期 P 值为 0.00487，偏差值为 2.968。​​现在，正是这个偏差从基础实验传递到荟萃分析的计算中，我们将在后续内容中看到这一点。
	流行病学中有多少论断是正确的？我曾在2011年发表过一篇论文，其中引用了一些观察性研究中提出的论断。
	对于观察性研究中提出的每一项主张，我都找到了一项随机临床试验，该试验研究的正是相同的问题。因此，在12项研究中，共有
	52项可以提出并检验的主张。
	如果你看一下“正”列，会发现这 52 个索赔中没有一个是按正确方向复制的。
	所以，流行病学家们提出的52项主张全部落空。实际上，有五项主张具有统计学意义，但它们的方向与观察性研究中提出的主张相反。
	我们将来看一个
	这个问题有点疯狂。吃麦片能决定人的性别吗？也就是说，如果你早餐吃麦片，生男孩的几率会更高吗？嗯，第一篇论文就是这么说的。
	这篇论文发表在《皇家学会B辑》（Royal Society B）上，这是英国顶尖的生物学期刊。这三位合著者声称，如果你在受孕前后吃早餐麦片，生男孩的几率会更高。
	我和我的两个同事研究了这个问题，我们索取了数据。我们获得了数据，然后发表了一篇反驳第一篇论文的文章，指出谷物引起的性别选择很可能是多重检验的假阳性结果。
	在受孕前不久……预测受孕时间，以及受孕前后。每份问卷包含131种食物，总共进行了262次统计检验。
	计算这些检验的 P 值，按从小到大的顺序排列，并将它们与整数（即底部的排名）进行对比绘制。
	你看，这看起来像是一条相当不错的 45 度线。所以我们看到的是一个均匀分布。他们的说法来自这条线的左下角，他们说，这里有一个很小的 ​​P 值。这个很小的 ​​P 值表明，吃谷物……早餐谷物会导致更多
	男婴。
	很明显，这是一个统计学上的假阳性结果。
	P值图。所以我们会经常用到P值图。左边这张图展示的是一个可能为真的零假设的P值图。
	老年人长期坚持锻炼不会导致死亡或增加死亡风险。右边是吸烟和肺癌。
	我们看到页面上大部分 P 值都接近于零，只有少数几个在右侧。因此，右侧的图片表明存在真实效应，而左侧的图片则支持零假设，即不存在效应。
	我们来谈谈荟萃分析，因为我将在本次讲座中用到它。左边是一个漏斗图，可以看到很多论文都落入了这个漏斗中。
	流行病学家或其他进行荟萃分析的人员会挑选他们认为高质量的论文，并用这些论文进行进一步分析。在右侧，我们看到……某种程度上……
	证据等级。对多项研究进行荟萃分析被认为是一种有效的证据等级。
	先是高层信息，然后是底层的专家意见等等。所以，你越往上爬，就越能理解金字塔的结构。
	人们认为证据更充分。
	我们将来看两篇元分析论文的例子。第一篇论文是Orellano写的。
	一氧化氮、臭氧、
	微小颗粒等等。它收集了来自世界各地……世界各地的数据。
	世界，而这是由……赞助的
	世界卫生组织，所以这是高质量的资金，高质量的论文。
	这是一项荟萃分析。我们将检验这项荟萃分析中的结论是否成立。
	最后那张图真的很有趣。它分析了红肉和加工肉类的消费模式与肺癌和心脏病风险之间的关系。
	营养学文献中有很多文章指出，你真的不应该吃红肉。我们将看看这种说法是否……是否合理。
	让我们回顾一下拼图的各个部分，然后看看它们是如何组合在一起的。
	我们从公开文献中得知，大多数研究结果都无法重复验证。这被称为科学危机。P值操纵是一个问题。P值操纵是指进行大量测试，尝试各种方法，然后，当发现P值小于0.05时，
	你可以写一篇论文。
	我们将使用元分析和 P 值图来抓取那些进行 P 值操纵的人，我把 P 值操纵称为统计学上的作弊行为。
	其他人，你知道，就有点……他们用另一种方式描述。我们将使用 JMP 插件。这些 JMP 插件是由 Paul Fogle 编写的。
	它们使我们能够从一篇荟萃分析论文入手，快速便捷地生成 P 值图。我们还将介绍 Fisher 的 P 值合并方法，然后……
	编写一个小脚本，它可以读取 JMP 生成的双向图，然后对其进行清理，使左右边距更加美观。
	长期暴露于空气污染中会造成以下后果：
	他们说，这会导致哮喘。左边是所谓的树状图。那就是……
	它看起来有点像圣诞树。
	平均值用点表示，置信区间用两侧的须线表示。左侧是论文名称……这些论文是由这些作者选择的，右侧是……
	风险比率和置信区间。现在，您通常可以直接提取风险比率和置信区间，并将其放入……
	JMP 数据集，因此我们在右侧看到了 JMP 数据集。
	现在来看 P 值图。
	Paul Fogle 写的这篇文章会将风险比率、P 值和置信限转换为 P 值。
	这里我们看到这件事已经完成了。
	置信区间可以给出标准误差。
	利用风险比和标准误差，您可以计算 Z 统计量。然后，您可以利用 Z 统计量得到 P 值。右侧显示的就是 P 值图，就像在 JMP 中点击几下鼠标后得到的那样。
	同样，左侧是粗略的 P 值图，右侧经过一个简单的脚本处理后，我们添加了零线、0.05 的虚线，并对数字进行了清理和扩展。
	X轴和Y轴。所以我们现在可以查看并评估所有纳入其中的研究，但我们发现了一个相当奇怪的现象。我们发现……
	这里有一些 P 值小于 0.05，然后又有很多 P 值增大，所以我们面临着一种模棱两可的情况。
	有些 P 值看起来似乎支持这一说法，而另一些 P 值看起来则像是随机发现。
	我们来看一下费舍尔合并 P 值的方法。左边是公式：取 P 值，取自然对数，然后将结果相加，再乘以 -2。
	这样就得到了卡方值。你可以在卡方表中查找卡方值。所以，在这个荟萃分析中，我们有 P 值。在 P 值一栏中，我们看到 -2ln，你会发现很少有 P 值很小，但它们对总和的影响却很大。
	稍微思考一下就会发现，总和和其他所有总和一样，都会受到异常值操纵的影响……从而导致平衡发生显著变化。
	因此，少数几个较小的 P 值（0.0033、0.0073）对卡方值的总和产生了显著影响。事实上，这个总和并不稳健。一个异常值……一个极端异常值就可能颠覆整个等式。
	请记住，P值操纵会导致P值偏小，而且，
	科学家经常会遇到这种情况：如果一项研究结果不具有统计学意义，他们甚至根本不会发表。
	如果他们发现了重要的结果，通常都会被发现。所以存在发表偏倚。整个文献中充斥着很小的P值。
	而这可能……只是冰山一角。冰山之下是所有可能发表但统计学意义不显著的文章。
	我们现在要来看一份空气污染研究报告。Mustafic 于 2012 年发表。
	他在《美国医学会杂志》（JAMA）上发表了一篇论文，研究了六种典型的空气污染。
	一氧化碳、一氧化二氮、细颗粒物（即 PM2.5）、二氧化硫等。
	如果你观察这些P值图，你会发现它们基本上都像曲棍球棒一样。其中有很多P值小于0.05。
	但是，有相当多的 P 值沿着 45 度线上升，表明没有影响。
	我们认为我们看到的是混合结果。我们看到的是既有重要研究也有不重要研究的混合结果。
	我们进一步认为，这些重要的研究大多源于P值操纵。当然，也可能存在其他方法，但我们认为P值操纵才是关键所在。所以，如果你看一下左边的内容，
	红色方框中给出的是中位数。
	在研究中可以进行的模型或测试，即 Mustafic 论文中的研究。
	我们统计了数量
	结果、预测因子和协变量，如果将它们全部相乘，中位数（我们称之为搜索空间）为 12,288。
	这意味着，平均而言，作者有 12 次机会（中位数为 12,000 次）获得 P 值小于 0.05 的结果。他们有很大的余地来获得具有统计学意义的结果。
	我们将在这里对营养研究进行简单的计数。这里有15项研究。论文的作者，或者说第一作者。
	然后，在顶部可以看到结果、预测因子、协变量、检验、模型和搜索空间。例如，如果他们研究了三种健康结果，比如 Dixon 的结果，并且他们有 51 个样本。
	他们研究的食物，那些……会成为预测因子。现在，如果他们使用协变量，
	这将大大扩展搜索范围。你可以看到，对于迪克森来说，理论上他可以进行两千万种可能的分析。
	如果你查看搜索空间列，你可以看到可以进行大量的分析。
	这些营养研究都是以队列为研究对象进行的。队列是指收集起来的一组人群。
	他们首先通过问卷调查来衡量，然后等待一段时间，最后观察对健康的影响。
	每个队列都有一个与其使用的数据集同名的名称。
	一旦这些小组组建完成，就可以利用他们提出无数个问题。
	如果
	其中一个问题的P值显著。
	他们觉得自己可以写论文，而且他们经常也确实能写论文。
	因此，在最后两列中，我们看到的是论文的数量。
	这可能出现。还有更多……我们使用了谷歌学术搜索，并且实际核实过。所以这些是已发表在文献中的论文数量。
	与这些队列相关的。我还要补充一点，我们查阅了很多这类论文，但没有一篇论文对多重检验或多重建模进行任何调整。
	我们这里讨论的是营养流行病学和环境流行病学。营养流行病学使用问卷调查，即食物频率问卷（FFQ）。
	在食物频率问卷（FFQ）中，你可以列出一定数量的食物。
	最初，他们只列出了61种食物，但我见过一些食物频率问卷研究，里面竟然包含了800种食物。我可不想填写那样的问卷。
	但这里给出的是随着时间的推移，使用 FFQ 的论文数量。
	自 1985 年以来……该技术于 1986 年发明……自 1985 年以来，已有 74,000 篇 FFQ 论文发表，根据我们对这些论文的观察，没有一篇论文对多重检验进行调整，而且所有这些论文的统计搜索空间都非常大。
	环境流行病学，我只是在谷歌上搜索了论文标题中的“空气污染”一词。
	由此可见，随着时间的推移，已经发表了 28,000 至 29,000 篇关于空气污染的论文。
	据我所知，经过大量查阅，这些论文都没有对多重测试或多重建模进行调整，而且所有这些论文的搜索空间都非常大……基本上所有这些论文的搜索空间都非常大。
	Meta 分析包含在系统评价和 Meta 分析的名称中，并且，最近从 2005 年开始，
	期刊有
	在论文标题中使用了该术语。因此，从 2005 年开始，我询问论文标题中是否出现“系统评价”和“荟萃分析”这两个词，你可以看到，最初数量很少，每年只有 1500 篇论文。
	五年间共发表了1500篇论文，最终在2021年，有
	总共出版了27000篇论文，所以这属于家庭作坊式生产。这些论文相对容易生产。
	在中国，一个团队通常由 10 人或 5 到 15 人组成，每周可以完成一项荟萃分析。
	他们的薪酬是根据发表的论文数量等因素来评定的。
	据我所知，这些研究……一半是观察性研究，一半来自随机临床试验。
	到目前为止，在我们研究过的所有研究中，尤其是在观察性研究中，几乎没有一个呈现出这种曲棍球棒状，即有些 P 值很小，而很多 P 值看起来完全随机。
	我要说的是，所有这些研究……基本上都是用你们的税款或者其他人的税款资助的。换句话说，它们是由公共资金慷慨资助的。
	许多论断缺乏统计学支持。基础论文没有对多重检验和多重建模进行校正。基础论文的分析搜索空间过大。
	我们已经从环境流行病学和营养流行病学中看到了例子，我认为根据证据来看，大多数人的说法是不可靠的。
	我说过，其他人也说过，我们正面临科学和统计学的灾难，以及元分析和 P 值图的使用，这些说法要么是真，要么是假。
	这里展示了四种雾霾情景。左上角是1952年的伦敦；
	右图为 1948 年的洛杉矶。
	左下角是新加坡，我不确定……我记不清确切的年份了。然后是北京。这些都是最近的照片。
	以伦敦大雾为例，对死亡人数的统计分析……每日死亡人数等等都表明，1952 年伦敦在三四天内发生了 4000 多人死亡。这引起了流行病学家对死因的兴趣。
	另外三张幻灯片或三张图片显示，在这些时间段内，死亡人数并未出现明显增加。
	真相是，在伦敦，他们正在烧煤。
	用于供暖和其他一切用途。当时出现了逆温现象，有人认为空气中的酸性物质会随颗粒物进入下肺，导致易感人群（通常是老年人和体弱者）死亡人数增加，但这种情况现在已经不再发生了。
	世界各地都存在各种各样的污染，但我们并没有看到死亡率因此而飙升。
	骗局？哈哈，我喜欢骗局。
	这些都是骗局吗？空气污染会致命。例如，任何基于食物频率问卷调查的研究都可能得出这样的结论：喝咖啡更容易患胰腺癌。这很可能是不实的说法之一。
	天然臭氧浓度会致死吗？我认为这种说法也不成立。环境雌激素。任何基于观察性研究的荟萃分析得出的结论都不可信。
	请记住，公开文献中的证据表明，80% 的科学论断（通常来自大学）在经过严格测试（例如随机临床试验）时未能得到重复验证。
	情绪和恐惧。实用政治的全部目的就是让民众始终处于威胁、恐惧之中，从而让他们渴望被引导到安全的地方，而这可以通过不断用一系列虚构的妖魔鬼怪来威胁民众来实现。
	欺诈、欺骗、诈骗游戏，都涉及巧妙的劝说或对受害者的巧妙操纵。正如H·L·门肯在20世纪30年代所说，实际政治很大程度上是恐吓政治。
	最后，我们来介绍一下本次演讲的作者们。我是斯坦·杨，可以通过 genetree@bellsouth.net 联系到我。沃伦·金齐尔斯基是一位加拿大流行病学家，在过去的几年里，他一直与我密切合作撰写论文。
	这些都是基于我们今天在这里看到的内容。保罗·福格尔是一位非常有趣的统计学家，他住在巴黎，他负责撰写了……
	我们可以使用一些插件和脚本。我可以说，这些脚本可以让你在不到一个小时的时间内完成从元分析到评估的整个过程。
	我推荐全国学者协会的报告《Shifting Sands Report 1》，点击此链接即可查看。
	这份报告篇幅较长，内容详尽，但统计方法简单易懂，主要讨论了空气质量及其对健康的影响。
	此外，我还要声明一点：如果有人想尝试一下，我们会提供 JMP 的脚本和插件，我甚至还会提供帮助。
	请您审阅并解读您对该荟萃分析的具体分析。我就说到这里，准备好回答任何问题。谢谢。

高级统计建模自动化和脚本编写基础数据分析与建模消费者和市场研究数据融合与清理数据探索与可视化实验设计大规模定制预测建模和机器学习质量与工艺工程可靠性分析分享和交流结果