扬声器 | 成绩单 |
| 斯坦·杨 | 哈哈。 |
| 萨拉·杜特 | 允许你。 |
| 斯坦·杨 | 现在看到一切。 |
| 好吧，哦不，我要从我这边运行幻灯片吗？ |
| 萨拉·杜特 | 是的，就像正常会议一样。 |
| 我们就这样吧，好吧，确保我在近距离观察时得到了一切。好吧，我们正在录制，我需要，我要关掉我的相机，仅供参考，然后。 |
| 好的。 |
| 斯坦·杨 | 要使其全屏显示，现在只需排序即可。 |
| 第二个如何做到这一点。 |
| 萨拉·杜特 | 就是那个底部，上面写着对 34% 的人的行为的注释，它看起来像 a。 |
| 下船是的，对那个坏人感到抱歉，在另一边的人那个。 |
| 一是的，那个家伙。 |
| 斯坦·杨 | 哈哈。 |
| 萨拉·杜特 | 你走吧，我的意思是我要走了，我们马上就要开始，但我要见见我自己，在我们开始之前你有什么问题吗？ |
| 斯坦·杨 | 或者你真的不会在录制幻灯片的同时也录制我的视频吗？ |
| 萨拉·杜特 | 是的，是的，他们要求你有。 |
| 相机在这儿。 |
| 过了那就好了。 |
| 正确的。 |
| 好的。 |
| 斯坦·杨 | 我准备走了。 |
| 萨拉·杜特 | 我要把自己静音，如果你有疑问或需要停下来，请告诉我，否则我会让你知道。 |
| 斯坦·杨 | 去。 |
| 今天我将介绍用于评估多项研究的 JMP 插件和脚本。 或者你可以称之为如何抓住 p-hackers，人们用统计数据作弊，或者为什么大多数科学主张都是错误的。 |
| 我首先要描述拼图的各个部分以及它们如何组合在一起。 大多数说法实际上都无法复制。 这些都是科学主张。 |
| 我和我的合著者都认为，这是由于 p-hacking 造成的，这是一个主要问题。 我们将使用元分析和 P 值图来抓住他们，这就是抓住骗子的方法。 |
| JMP 插件和脚本是来自风险比和置信限的 P 值。 它们来自荟萃分析。 |
| 然后是Fisher的P值组合，这是一种古老的技术，类似于荟萃分析技术。 然后我们将呈现一个 p 值图，我们有一个小脚本可以清理它并使其成为一个像样的图 |
| 图片。 |
| 好吧，我们看到天空中有一只兔子。 天空中有很多云，如果你在天气好的时候坐在外面环顾四周，你可能会发现一只兔子。 |
| 所以这是一个随机事件。 当然，兔子实际上并不在天上。 |
| 格尔曼和洛肯实际上发表了一篇小文章，并指出科学中的统计危机，因此人们错误地使用了统计数据，这就是我们今天要讨论的内容。 |
| 让我们进行一个流行病学实验。 |
| 我们有 10 面骰子，红、白、蓝。 它们将变成数字（在本例中为 0.046）。 让我们亲眼目睹这一切发生在我们眼前。 |
| 现在我们有了 P 值。 这是随机的。 你自己做的。 太有趣了，我们为什么不再玩一次呢？ |
| 红白， |
| 和蓝色。 |
| 现在，如果您执行了 60 次，则可以填写此处的表格。 这是我用 10 面骰子进行的模拟。 您可以看到 4 列 15 行的 P 值。 所以这是 60 个 P 值。 我的最小 P 值为 0.004。 |
| 通过 60 个 P 值，您可以计算出概率。 大约 95% 的情况下，至少有一个 P 值小于 0.05。 |
| 这是我女儿做的。 她的三个 P 值小于 0.05；他们被圈在这里。 然后进行流行病学家实验就这么简单 |
| 甚至我的妻子帕特也能做到，她这里有三篇潜在的论文，她可以根据掷骰子和编一个好故事来写。 |
| P 值具有附加的预期值。 因此，在右侧，我们的 P 值为 0.004、0.016 和 0.012。 每个 P 值都附带一个正常偏差。 您可以看到我的 .004 的正常偏差为 2.9 等等。 在左边，我们有 |
| 样本大小、预期偏差、最小 P 值的预期 P 值，然后是偏差。 所以如果我们有 400 |
| 对于我们正在研究的问题，预期 P 值为 0.00487，偏差为 2.968。 现在，正是这种偏差从基础实验带入荟萃分析的计算中，我们将在继续进行时看到这一点。 |
| 流行病学中有多少说法是真实的？ 我在 2011 年发表了一篇论文，并采纳了观察研究中提出的观点。 |
| 对于观察性研究中的每一项主张，我都找到了一项研究完全相同问题的随机临床试验。 因此，在这 12 项研究中， |
| 52 项可以提出和测试的主张。 |
| 如果您查看“积极”下方的列，您会发现这 52 项声明中有 0 项是按照正确方向复制的。 |
| 因此，就流行病学家的说法而言，52 分中的 0 分是 0 分。 实际上有五种说法具有统计显着性，但它们与观察性研究中所声称的方向相反。 |
| 我们要看看一个 |
| 疯狂的问题。 谷物决定人类性别吗？ 那么，如果你吃早餐麦片，你生男孩的可能性就更大吗？ 嗯，第一篇论文就是这么说的。 |
| 这篇论文发表在皇家学会 B 上，这是他们的首要生物学期刊。 因此，这三位合著者声称，如果你吃早餐麦片，你更有可能生男孩，在受孕期间和前后吃早餐麦片。 |
| 我和我的两个同事研究了这个，我们要求提供数据。 我们得到了数据，然后发表了对第一篇论文的反驳，称谷物引起的性别选择很可能是多重测试误报。 |
| 在受孕之前...预测受孕，以及在受孕前后。 每份问卷包含131种食物，共进行262项统计检验。 |
| 您计算这些测试的 P 值，将它们从小到大排序，然后根据整数绘制它们（即底部的排名）， |
| 你会看到一条看起来相当不错的 45 度线。 所以我们正在寻找均匀分布。 现在他们的主张来自左下角，他们说，好吧，这是一个小的 P 值。 小 P 值表明吃麦片……早餐麦片会导致更多 |
| 男孩婴儿。 |
| 很明显是统计误报。 |
| P 值图。 所以我们将大量使用 P 值图。 在左侧，我们看到可能为真零假设的 P 值图。 |
| 老年人长期运动训练不会导致死亡或死亡风险。 右边是吸烟和肺癌。 |
| 我们看到整个页面上大量的 P 值都非常接近于零，并且右侧有一些落后的值。 因此，右边的图片是真实效果的证据，左边的图片是零假设的支持，没有效果。 |
| 让我们来谈谈元分析，因为我将在本次讲座的过程中使用它们。 在左边，我们看到一个漏斗，我们看到很多论文落入漏斗中。 |
| 流行病学家或进行荟萃分析的人会挑选他们认为高质量的论文，并将其用于进一步分析。 在右边，我们看到了……类似的 |
| 证据层次。 考虑对许多研究进行荟萃分析 |
| 高层信息，然后是底层信息，专家意见等等。 所以你在金字塔上爬得越高 |
| 人们认为证据更好。 |
| 我们将看两篇荟萃分析论文示例。 第一篇论文是奥雷利亚诺的。 |
| 一氧化氮、臭氧、 |
| 小颗粒等。 它收集了来自世界各地的数据...... |
| 世界，这是由 |
| 世界卫生组织，这是高质量的资金、高质量的论文。 |
| 这是一个荟萃分析。 我们将看看荟萃分析中的主张是否成立。 |
| 最下面那张实在是太搞笑了。 红肉和加工肉类的消费模式以及肺癌和心脏病的基本风险。 |
| 营养文献中有很多文献说你真的不应该吃红肉。 我们将看看这是否……是否有意义。 |
| 让我们回去看看拼图的各个部分，然后看看它们是如何组合在一起的。 |
| 我们从公开文献中得知，大多数说法都无法复制。 这被称为科学危机。 P-hacking 是一个问题。 P-hacking 正在运行大量测试，尝试这个、尝试那个，然后，当你发现 P 值小于 0.05 时， |
| 你可以写一篇论文。 |
| 我们将使用元分析和 P 值图来捕获基本上是 P 黑客的人，我将 P 黑客称为统计数据作弊。 |
| 你知道，其他人的描述有点不同。 我们将使用 JMP 插件。 这些 JMP 插件由 Paul Fogle 编写。 |
| 它们使我们能够从荟萃分析论文开始，快速轻松地生成 P 值图。 我们还将描述 Fisher 的 P 值组合，然后我们...... |
| 有一个小脚本，它将采用 JMP 中的双向图，然后对其进行清理，以便左右边距更...更有吸引力。 |
| 这是长期暴露在空气污染和 |
| 他们说，会导致哮喘。 左边是所谓的树形图。 那就是... |
| 它看起来有点像圣诞树。 |
| 平均值以点的形式给出，然后置信限是两侧伸出的胡须。 左边是论文名称...这些作者选择的论文，右边是 |
| 风险比率和置信限度。 现在，您通常可以将风险比率和置信限度去掉，然后将它们放入一个 |
| JMP数据集，所以我们看到右边的JMP数据集。 |
| 现在是 P 值图。 |
| Paul Fogle 写的东西将把这些风险比率和 P...以及置信极限转换为 P 值。 |
| 在这里我们看到它已经完成了。 |
| 置信限可以为您提供标准误差。 |
| 利用风险比和标准误，您可以计算 Z 统计量。 然后您可以获取 Z 统计量并获得 P 值。 在右侧，我们看到 P 值图出现，就像在 JMP 中单击几下一样。 |
| 同样，在左侧，我们有粗略的 P 值图，在右侧，使用小脚本后，我们添加零线，添加 0.05 的虚线，然后清理并展开上的数字 |
| X 轴和 Y 轴。 所以我们现在可以看看并判断那件事中的所有研究，但我们看到了一个相当奇怪的事情。 我们看到 |
| 所有这一切，有一些 P 值低于 0.05，然后很多 P 值上升，所以我们有一个不明确的情况。 |
| 有些 P 值看起来像是声明是正确的，而其他 P 值看起来只是随机发现。 |
| 让我们看一下 Fisher 的 P 值组合。 在左边，我们有公式。 你取 P 值，取自然对数，将它们相加乘以 -2。 |
| 这给你一个卡方。 您查找表中的 Chi 方。 所以这个...这个荟萃分析，我们有 P 值。 在 P 值下，我们有 -2ln，并且您会看到很少有很小的 P 值可以显着增加总和。 |
| 如果你稍微想一下，总和就像所有总和一样，它会受到异常值的操纵......大大改变平衡。 |
| 因此，少数小的 P 值 (.0033, .0073) 显着增加了卡方的总和。 事实上，这个求和并不稳健。 一个异常值……一个极端的异常值可以颠覆整个……整个方程。 |
| 现在请记住，P-hacking 可能会导致 P 值变小，而且， |
| 科学家们经常会发现，如果一项研究结果不重要，他们甚至不会发表。 |
| 如果他们发现了一些重要的东西，他们通常会发现。 所以存在发表偏见。 整个文献中充斥着小 P 值 |
| 这可能...这只是冰山一角。 冰山之下是所有可能发生的出版物，但它们在统计上并不显着。 |
| 我们现在要来看一项空气污染研究。 2012年的穆斯塔菲克 |
| 在《JAMA》上发表论文，他研究了六种典型的空气污染 |
| 一氧化碳、一氧化二氮、小颗粒物（即 PM 2.5）、二氧化硫等。 |
| 如果您查看这些 P 值图，它们本质上看起来都像曲棍球棒。 有许多 P 值小于 0.05。 |
| 但随后有大量 P 值沿着 45 度线上升，表明没有效果。 |
| 我们认为我们正在寻找一种混合物。 我们正在研究重要研究和非重要研究的混合体。 |
| 我们进一步认为，重要的研究主要来自 P-hacking。 还可以出现其他方式，但我们认为 P-hacking 才是最重要的。 所以如果你看这里的左边 |
| 在红色框中，我们给出中位数 |
| 可以在一项研究中进行的模型或测试，这些研究是穆斯塔菲克论文中的研究。 |
| 我们统计了数量 |
| 结果、预测变量和协变量，如果将它们全部相乘，则得到中位数，我们称之为搜索空间，中位数搜索空间为 12,288。 |
| 这意味着作者平均有 12...中位数有 12,000 次机会获得 P 值小于 0.05。 他们有很大的余地来获得具有统计意义的结果。 |
| 我们将在这里研究营养研究的简单计数。 我们这里有 15 项研究。 作者，或论文的第一作者。 |
| 然后在顶部您可以看到结果、预测变量、协变量、测试、模型和搜索空间。 结果，如果他们查看三个健康结果，例如 Dixon，并且如果他们有 51 |
| 他们研究中的食物，将......那些将是预测因素。 现在如果他们使用协变量， |
| 这将大大增加搜索空间。 你可以看到，对于 Dixon，理论上他可以进行 2000 万种可能的分析。 |
| 如果您向下查看搜索空间列，您可以看到大量可以完成的可能分析。 |
| 营养研究是在队列中进行的。 队列是聚集起来的一群人， |
| 最初，他们会通过问题进行衡量，然后等待一段时间，然后再观察对健康的影响。 |
| 每个群组都有该群组使用的数据集的名称。 |
| 这些群体一旦聚集在一起，就可以用来提出无数的问题。 |
| 如果 |
| 其中一个问题的 P 值显着 |
| 他们觉得自己可以写一篇论文，而且他们经常这样做。 |
| 所以，在最后两列中，我们看到论文的数量 |
| 这可能会出现。 还有更多......我们使用了谷歌学术，我们实际上检查了它。 这些是文献中出现的论文数量 |
| 与这些队列中的每一个相关联。 我要补充一点，我们已经看过很多这样的论文，但这些论文中没有一篇对多重测试或多重建模进行任何调整。 |
| 营养流行病学、环境流行病学，这些都是我们在这里讨论的。 营养流行病学使用问卷，食物频率问卷（FFQ）。 |
| 在 FFQ 中，您可以吃一定数量的食物。 |
| 最初，他们从 61 种食物开始，我看过一些 FFQ 研究，其中有 800 种食物。 我不想成为填写该调查问卷的人。 |
| 但这里给出的是一段时间内使用 FFQ 的论文数量。 |
| 自 1985 年以来...该技术于 1986 年发明...自 1985 年以来，已有 74,000 篇 FFQ 论文，根据我们对它们的观察，这些论文都没有针对多重测试进行调整，并且所有论文都具有相当大的统计搜索空间。 |
| 环境流行病学，我简单地用谷歌搜索了论文标题中的“空气污染”一词。 |
| 在这里我们看到，随着时间的推移，已经有 28-29,000 篇关于空气污染的论文发表。 |
| 据我所知，基于大量的研究，这些论文都没有适应多重测试或多重建模，并且所有这些论文都有很大的......基本上所有这些论文都有非常大的搜索空间。 |
| 荟萃分析被称为系统评价和荟萃分析，最近从 2005 年开始， |
| 期刊有 |
| 在论文的标题中使用了这个术语。 所以从 2005 年开始，我问论文标题中是否出现了“系统评价”和“元分析”这两个词，你可以看到，一开始的论文数量很低，每年 1,500 篇。 |
| 五年期间共发表了 1,500 篇论文，最终到 2021 年， |
| 总共有27000篇论文，所以这是一个家庭手工业。 这些论文可以相对容易地发表。 |
| 在中国，一个团队通常由 10 人或 5 到 15 人组成，每周可以进行一次荟萃分析。 |
| 他们的工资是根据他们发表的论文数量等等来评定的。 |
| 据我所知，这些都是……这些研究一半是观察性研究，一半是……来自随机临床试验。 |
| 事实上，到目前为止，在我们研究过的所有研究中，特别是在观察性研究中，没有一个看起来像曲棍球棒，就像有一些 P 值很小，有一堆 P 值看起来像完全随机。 |
| 我想说的是，所有……基本上所有这些研究都是由你或某人的税款资助的。 一种说法是，他们得到了公共资金的慷慨资助。 |
| 许多说法没有统计支持。 基础论文不纠正多重测试和多重建模。 基础论文有很大的分析搜索空间。 |
| 我们已经看到了环境流行病学和营养流行病学的例子，我认为根据证据，大多数人都是不可靠的。 |
| 我说，其他人也说过，我们面临着一场科学和统计灾难，并且使用荟萃分析和 P 值图，这些说法可以被验证为真，也可以为假。 |
| 这里我们分四种雾霾情况。 左上是 1952 年的伦敦； |
| 右边是1948年的洛杉矶。 |
| 左下是新加坡，我不确定……我不记得具体年份了。 然后是北京。 这些是最近的。 |
| 以伦敦大雾为例，对死亡人数的统计分析……每日死亡人数等一切都表明，1952 年伦敦三四天内有超过 4,000 人死亡。 这引起了流行病学家对凶手的兴趣。 |
| 其他三张幻灯片或其他三张图片，在这些时间段内没有报告死亡人数增加。 |
| 更确切地说，在伦敦，他们正在烧煤 |
| 用于供暖和其他一切。 出现了逆温现象，有人认为空气中的酸被颗粒带到下肺，易受影响的个体（通常是年老体弱的人）死亡人数增加，但现在这种情况并没有发生 |
| 世界各地。 世界各地存在各种各样的污染，但我们没有看到与之相关的死亡率飙升。 |
| 诈骗？ 哈哈。 我喜欢诈骗。 |
| 这些是骗局吗？ 空气污染会致命。 FFQ 研究中的任何说法，例如，如果你喝咖啡，你就更有可能患胰腺癌。 这是可能不正确的说法之一。 |
| 自然水平的臭氧会杀人吗？ 我认为这也不是真的。 环境雌激素。 任何来自使用观察性研究的荟萃分析的主张。 |
| 请记住，公共文献中的证据表明，80%（通常来自大学）的科学主张在经过严格测试（例如随机临床试验）时未能复制。 |
| 情感和恐惧。 现实政治的全部目标是通过用无数的大妖精（所有这些都是虚构的）来威胁民众，从而使民众受到威胁、恐惧，从而大声要求将他们带到安全的地方。 |
| 胡言乱语、欺骗、信任游戏，涉及……巧妙地说服或巧妙地操纵受害者。 所以HL 20世纪30年代的门肯说，现实政治很大程度上是恐吓政治。 |
| 我们在本次演讲中结束了本文的作者。 我是 Stan Young，可以通过genetree@bellsouth.net 与我联系。 Warren Kindzierski 是一位加拿大流行病学家，过去几年他一直与我密切合作，撰写了以下论文： |
| 基于我们今天在这里看到的事情。 Paul Fogel 是一位非常有趣的统计学家，住在巴黎，他负责撰写 |
| 我们可以使用的加载项和脚本。 我想说的是，这些脚本将允许您在不到一个小时的时间内从元分析到评估。 |
| 我想推荐全国学者协会的报告《流沙报告 1》，这个 URL 可以帮助您到达那里。 |
| 这份报告篇幅较长，涉及面广，但简单的统计报告谈论了空气质量和健康的影响。 |
| 我还将提出以下声明，如果有人观看此内容想要尝试一下发生了什么，我们将为您提供 JMP 的脚本和插件，然后我什至会帮助您 |
| 查看并解释您对荟萃分析的特定分析。 因此，我会停下来，准备回答任何问题。 谢谢。 |
