我们很高兴在我们的第一个节目中邀请到令人惊叹的父女二人组 Chris Nachtsheim 博士和 Abby Nachtsheim 博士从统计学上来说2023 年。 我们很享受过去与克里斯一起举办的活动，就像这样很棒全体会议讲话在过去的美洲探索峰会上（非常值得再次观看！）。 我们非常有兴趣了解更多有关艾比迷人项目的信息。
Chris 是明尼苏达大学卡尔森管理学院供应链和运营系 Frank A. Donaldson 运营管理系主任。 他的研究兴趣涵盖工业实验的优化设计、预测建模和质量管理。 他与人合着了多本书籍，并在统计文献中发表了大量文章。他是美国统计协会会员，并获得了许多奖项，其中包括：
- 四次获得美国质量协会布伦堡奖
- 两次获得劳埃德·纳尔逊奖
- 三度获得杰克·约登技术计量学最佳说明性论文奖。
艾比是洛斯阿拉莫斯国家实验室统计科学小组的统计学家。 她定期与物理学家、化学家、生物学家、计算机科学家和工程师合作，为复杂的跨学科问题开发解决方案。 她的研究兴趣集中在实验设计和分析上，并为洛斯阿拉莫斯国家实验室的广泛应用提供能源部专业知识。 她也是国家统计界的积极成员，目前担任美国统计协会双城分会主席。
他们的统计演讲全体会议非常吸引人，聊天中的许多 Zoom 反应和评论就证明了这一点，例如：
- “我*爱*能源部！ 它确实改变了我的研发科学家的工作效率。”
- “喜欢艾比作品的合作！！！”
- “很有启发性的演讲，谢谢！”
- “这真太了不起了。”
- “遗憾的是 DOE 在数据科学中没有更多地使用，因为它对于创建尽可能信息最丰富、最具代表性的训练数据集非常有帮助。”
- “感谢你们进行了精彩的讨论。”
他们的全体会议还激发了很多好问题，其中一些问题在我们有限的问答时间内没有得到解答，但艾比和克里斯善意地同意回答观众在这篇博文中提出的更多好问题。
对于这些拥有实验或因果建模部门的公司来说，他们可能还需要哪些其他技能，特别是当实验可能不可行时？
您需要对回归和预测建模有很好的理解，可能还需要能够使用 R 和/或 Python 进行编码，并且p也许熟悉一些因果建模技术。 重要的是，要充分理解观察研究和实验研究之间的差异。实验给出了因果关系。观察性研究给出假设。
您能否使用化学配方的 Plackett-Burman 设计来评估各个成分？ 或者应该始终使用混合设计？ 我在 DOE 混合物助手下使用了 Minitab 的筛选器和建模工具，但没有使用混合物设计，因为我通常评估筛选器的三个以上因素和建模的大约 3-4 个因素。
是的，您可以使用 Plackett-Burman 设计来设计化学配方。 如果组分百分比的总和等于 100% 或某个其他常数（例如，总混合物的 40%），则您需要 1) 使用混合物实验，或 2) 保留其中一个组分并使用更标准的设计，例如 Plackett-Burman。 省略一个被称为松弛变量方法。 当然，如果组分百分比之和不是固定常数，则混合设计不适用。
使用 DOE 而不是随机梯度下降进行超参数调整有哪些优点/缺点？ 这些方法可以一起使用（也许 DoE 首先？）神经网络？ 可以考虑他们吗？ 复杂的案件可以考虑他们吗？
随机梯度下降是一种重要的优化技术，通常用于将神经网络中的（可能数百万个）参数拟合为一组固定的超参数。 但我不会将它用于超参数优化——相对于使用设计的实验来说，它会很昂贵。
PCA/PLS 怎么样？ 他们可以得到能源部的“协助”吗？
从与明尼苏达大学 Dennis Cook 教授对这一主题的讨论中，我们知道 DOE“不”协助 PLS（偏最小二乘法）是有理论原因的。尽管有可能，但我们不知道 DOE 和 PCA 之间有任何有用的联系。
您认为在现代能源部工作的统计学家对大数据产生影响的最大机会在哪里？ 我知道 A/B 测试似乎正在成为一个具有巨大潜力的新领域（参见 Nicholas Larsen、Jonathan Stallrich、Srijan Sengupta、Alex Deng、Ron Kohavi 和 Nathaniel Stevens，“在线控制实验中的统计挑战：A/B 测试方法回顾”。
DOE 的统计学家可以对 A/B 测试产生重大影响，既可以通过有效使用受试者，也可以通过实施能够估计因素之间相互作用的多因素实验，即超越 OFAAT 测试。但我们怀疑最大的影响将来自参与人工智能模型的开发和测试。
成功的公司是否使用实验？
绝对地。根据产品的不同，程度可能会有所不同，但实验在最好的公司中得到了广泛的应用。关于这一点有很多文献。从最近的一个地方开始哈佛商业评论文章：舍普纳，F.； 汤克，S.； LOVEMAN，GW 像科学家一样行事。哈佛商业评论, [sl] , v. 100，n。 3，第 3 页。 120-129，2022 年。
在我听到的讨论中，机器学习听起来比能源部“更受欢迎”。 您如何描述基于 DOE（而非 ML）建模的好处以及使用 DOE 收集数据以进行 ML 分析的方法？
我们不认为 ML 和 DOE 是相互竞争的方法。DOE 只是一种收集数据的有效方法，用于了解各种可控因素如何影响感兴趣的响应。机器学习是一种将高度复杂的模型拟合（通常）大量现有数据的方法。这些数据可以是观察数据，也可以是设计实验的结果。
DOE 数据分析和数据科学课程课程应包含哪些主题？ 例如，我们是否应该专注于 A/B 测试等通常不在标准 DOE 课程中的主题？
除了 A/B 测试之外，DOE 主题还应包括因子实验的设计和分析、分块、协方差分析和筛选设计。充分理解主效应和相互作用之间的差异至关重要。
您如何评估 DOE 的质量？
实验前还是实验后？在实验之前，有许多衡量设计优劣的标准统计指标，包括检测我们想要看到的效果的功效、因素之间的正交度、预期精度、鲁棒性、误差自由度、D-效率等非统计：我们控制了吗全部影响反应的因素有哪些？我们随机化了吗？ 响应测量可靠吗？实验后：统计模型预测可靠吗？实验可复制吗？
最大熵设计对于估计机械/确定性模型的参数有用吗？
我们讨论的最大熵设计在该应用中没有用处。我们的设计旨在区分两个或多个模型，这可能是机械性/确定性的。
您如何寻找 DOE 的相关因素？ 我的经验是，我们经常运行 DOE，并意识到我们错过了一些晦涩但重要的因素，然后需要重新运行设计。
这是一个大问题，我们也有过这样的经历。作为实验设计者，我们必须依靠主题专家来提前确定重要因素。所以首先，如果可以的话，与真正聪明的人一起工作。如果存在很多不确定性，您可以廉价地筛选大量潜在因素，并将集合减少到相关因素。然后从那里出发。
您对如何将 DOE 纳入数据科学项目和课程有具体建议吗？
重点关注 A/B 和 A/B/n 测试，同时还介绍了析因实验、分块、协方差分析和筛选设计的概念。充分理解主效应和相互作用之间的差异至关重要。
如果您已经拥有大量观测数据集，我们还需要 DOE 吗？
观察性研究无法证明因果关系，而且大多数观察性数据集都是设计非常糟糕的研究，通常无法复制。如果您想可靠地识别因果关系，您需要 DOE。观察性研究有助于确定后续实验的潜在因素。
我们在直播期间提出但没有现成答案的一个问题是：“是否有参与者正在与美国能源部合作和/或对美国能源部改善医院运营感兴趣？ 一个有用的资源可能是：服务业实验设计：批判性文献综述和未来研究方向。 如果阅读这篇博文的其他人知道将 DOE 应用于医院运营的更多资源，我们邀请您在评论中分享。 谢谢！
非常感谢克里斯和艾比花时间分享更多他们的统计专业知识。我们希望您能观看点播插曲从统计学角度来看，设计实验的一些真正鼓舞人心的应用使我们所有人受益。
你好@Victor_G ！. 很高兴你加入并发现它如此有趣（这种才华显然是在这个家庭中传承的）。 感谢您的反馈、热情以及分享如此丰富的额外资源！
谢谢@anne_miley参加这个精彩的统计演讲课程！
令人惊讶的是看到有这么多不同的项目Abby Nachtsheim 博士参与其中，并讲述了她如何成功构建适当的设计并分析结果。 这对统计学家父女二人组令人印象深刻！
我真的希望本次会议能够说服数据科学家或任何处理数据的人了解实验设计的重要性和用途。 DoE 和机器学习是两种强大的互补方法，可以以协同方式工作（例如，通过构建空间填充设计以及使用支持向量机、神经网络、基于树的方法等完成建模）提供强大而精确的解决方案。
对于创建具有代表性和信息丰富的 ML 训练集，或者优化不同算法的超参数，DoE 也可以产生很大的影响并代表更高的成功机会。
关于使用 DoE 方法优化算法的一些出版物：
