JMP 本月早些时候举办了关于实验设计 (DOE) 的统计演讲研讨会。 特别感谢 Moderna 的 Julia O'Neill、罗氏的 Andrea Geistanger 和 CPI 的 Rachel Findlay 与主持人 Malcolm Moore 进行了精彩的讨论。 与会者还听取了两场主题演讲。第一个演讲由 Trinity Challenge 执行主席莎莉·戴维斯 (Dame Sally Davies) 女士主讲，她描述了科学家在当前数据领域面临的挑战以及拥抱分析后可以实现的目标。 O'Neill 博士发表了第二个主题演讲，其中她解释了 Moderna 如何利用 DOE 和分析成功解决现实世界的问题，即如何开发针对新型冠状病毒 SARS-CoV-2 的疫苗。
从小组成员收到的问题数量来看，这次活动引起了很大的兴趣。 虽然他们很好地解决了其中的许多问题，但不可能在允许的时间内回答所有问题。 因此，我们决定在这篇文章中回答这些问题。
问：您能否将样本量与可靠创新的可能性联系起来？
答：我们可以做得更好。 新的样本大小浏览器，于JMP 16和JMP Pro 16的创建是为了鼓励探索功效、样本量和其他关键指标之间的关系，这些指标涉及确定如何最好地确保实验成功，如中所述这篇博文作者：迦勒·金 ( @calking ）。 我们建议任何对在开发项目之间分配资源或预算、规划时间表或只是了解样本量计算感兴趣的人来查看此新功能。
问：您对解决能源部最具挑战性的部分（选择因素和定义范围）的资源有建议吗？
答：这是一个非常有趣的话题，并且有充分的理由：选择影响您的响应的因素以及足够大的范围以检测效果是规划和执行成功的 DOE 的关键的第一步。 此时，定义成功也会有所帮助。 如果 DOE 产生的模型能够充分理解满足业务需求的流程，那么它就是成功的：“我们如何设置因素来实现这我们的产品质量水平如何？”例如。
如果 DOE 能够识别重要因素、量化模型未捕获的变化并为后续实验（增强 DOE）指明方向，那么它也是成功的。 未能识别单个重要因素的实验将构成失败，尽管我们了解到选择了错误的因素，或者范围设置得不够宽。 关于 DOE 的任何好的资源都包括一些关于如何选择因素和范围的讨论，尽管它通常只不过是“选择可能影响您的响应的因素以及足够宽的范围以看到影响（如果存在），但是不能太宽以致导致运行失败。”这是因为因素和范围的选择完全取决于所讨论情况的具体情况。 因此，确定这些的最佳人选是过程专家，而不是对 DOE 有深入了解但对应用了解有限的统计学家。 说了这么多，来看看JMP 用户社区中的讨论，其中包括对此事的许多有用的见解。
问：如何确保“历史”数据或来自“外部来源”的数据的可靠性？ 有人曾经说过“永远不要分析你自己没有收集到的数据”。 您如何克服这个问题，以确保您的历史数据可靠、有意义，所使用的测量系统能够将过程变化评估到最小等等？
答：我不知道是谁说的关于你自己没有收集到的数据，但我不同意。 在她的主题演讲中，莎莉·戴维斯女爵士讨论了数据生成和收集的多种方式，以及分析师使用“互不通知”的不同数据集“孤岛工作”的风险。用她的话说，目前“科学家和数据之间的接触比以往任何时候都更加密切”，将我们的分析限制在我们自己收集的数据上将严重阻碍进展。
当然，我们应该始终对数据持怀疑态度，就像我们对从数据生成的模型持怀疑态度一样。 但以怀疑的态度对待某件事并不等于彻底否定它。 没有什么是完美的，对于数据和模型来说确实如此，正如乔治·博克斯在他的著名格言中简洁地表达的那样。 这并不意味着因为某件事不完美或不可信就不能从中学到任何东西。 我们对数据的来源或准确性提出问题是正确的。 从其分析中得出的任何结论都应与我们自己的流程知识和主题专业知识一起考虑，而不是盲目接受。
问：您愿意详细说明 DOE 新用户应注意的常见错误吗？
答：人们犯的错误之一是过度关注设计，而不是首先关注他们为什么要做 DOE。 经常发生这样的情况：有人首先选择一个设计，然后牺牲他们的实验需求来适应该设计。 这定制设计平台在联合管理计划让您创建适合任何情况的最佳设计。 此外，CPI 的 Rachel Findlay 在活动期间提出了一些很好的建议：与同事“分享您的学习和错误”。 我们在组织内推广 DOE 越多，组织受益就越多。
问：选择 DOE 时要牢记的最重要因素是什么？
答：选择正确的 DOE 有很多重要因素，首先是我们试图回答的业务问题。 我们首先要通过执行 DOE 来实现什么目的？ 我们想要减少缺陷还是提高产量？ 也许我们想将新供应商的材料纳入我们的流程中，找出如何加快生产或降低成本。 DOE 通常是增量学习的迭代过程，在决定是否进一步实验时，了解我们的目标至关重要。 我们还需要询问有多少变量可能会影响我们的流程以及我们的时间表和预算。 一旦所有这些都清楚了，我们就可以开始选择设计的过程。
例如，如果我们已经知道少数变量很重要，并且我们正在寻找设置的最佳组合来最大化输出，那么我们可能会选择响应面实验。 或者，大量因素和紧张的预算可能会为最终筛选设计。 关于我们的情况、我们的约束、限制以及我们试图解决的问题的明确答案将为设计或一系列设计指明方向，以确保我们的要求得到满足。 还应该提到的是评估设计和比较设计平台是帮助做出最佳决策的有用工具。
问：DOE 可以是一种非常强大的技术……如果使用得当的话……但我同样看到了太多严重过度拟合模型的例子，这些模型不具有预测性，而且这对于新手统计学家/生物学家来说通常并不明显。 我们如何更好地帮助新手理解他们正在使用的工具以及输出的实际含义？
答：有大量资源可以帮助新实验者快速掌握实验设计。 它们还涵盖了从模型中删除无关紧要的项以及使用验证来避免过度拟合的各种方法。 最终，模型的最佳证明是使用独立数据进行验证：所提出的预测是否是根据验证运行支持的模型确定的解决方案？ 一个很好的起点是解决工业问题的统计思维在线课程，其中包括能源部模块。 还有几本教材可供参考这里。 JMP 和 DOE 的新手可以通过新用户欢迎套件和实验设计介绍套件。 这掌握 JMP网络研讨会也包括能源部。 最后， JMP 用户社区是一个强大的资源，任何有具体问题的人都可以将其作为讨论主题发布； 30,000 名社区成员中的一位通常会在几个小时内回答问题。
问：人工智能如何补充能源部？
A：人工智能（AI）这个话题在之前的文章中已经讨论过了。统计说话事件。 说这是一个非常有前途的领域并不完全准确。 它已经兑现了许多承诺。 然而，人工智能带来的最大风险与我们过度依赖它来解决所有问题，或盲目接受它声称提供的解决方案有关。 “相关并不意味着因果”这句格言凸显了人工智能的缺点。 为了将两者分开并深入理解任何过程的核心，需要 DOE。 当然，DOE 无法自主驱动工作流程。 我想说人工智能和能源部都有机会相互补充。
要了解有关 DOE 如何加速创新的更多信息，请报名参加 11 月份的这些免费活动：
