756637_zh-CN

liliconcom

大型 DOE：循序渐进、稳步推进才能赢得胜利？（2021-EU-45MP-775）

David Wong-Pascua，CatSci 高级科学家

Phil Kay，SAS JMP 全球学习经理
Ryan Lekivetz，JMP首席研究统计师、SAS开发人员

SAS JMP 系统工程师 Ben Francis

想象一下一个实验设计（DOE）问题，其中包含大量可能的处理方案：5个分类因子，分别具有3、4、4、8和12个水平。完整的因子实验需要运行4608次。您拥有一个高通量系统，因此可以同时进行48次运行。或许第一个实验显而易见：使用JMP定制设计平台生成一个48次运行的设计来估计主效应。根据响应（产量）拟合模型，您发现所有因子都显著，正如预期的那样。那么接下来应该怎么做呢？有什么高效且有效的方法可以找到最优结果并对结果充满信心呢？

这不是典型的先筛选后优化的顺序实验设计 (DOE) 情况，因为在初始筛选设计之后，没有可以舍弃的不重要因子。此外，二阶（及更高阶）相互作用可能很重要，但估算这些模型需要数百次运行。

在本文中，您将了解我们如何运用顺序方法在极其庞大的可能性空间中寻找最优区域，同时又能平衡学习效果。我们将此方法与其他方案进行比较，包括使用定制设计方法表征整个系统。您会发现，我们找到的解决方案之所以能够实现，完全得益于 JMP 独特的交互和可视化特性，以及 JMP 16 版本中新增的协变量/候选运行功能。

您可以在此 JMP 公共帖子中找到我们使用的示例数据和参考。

自动生成的成绩单...

扬声器	抄本
大卫·黄-帕斯夸	好的，那么。
	循序渐进、稳扎稳打才能赢得比赛。大家好，我是 David，CatSci 的高级科学家。那么，CatSci 是什么呢？
	CatSci 是一家专注于端到端化学工艺、研发的创新合作伙伴。我们与 JMP UK 等机构合作，确保所有决策均以数据为驱动。
	对于我们来说，关键在于第一次就把事情做好，并且每次都把事情做好；为每个项目制定量身定制的完美解决方案；我们的绝对重点是满足客户的期望。
	我们业务涵盖多个领域，包括早期和后期开发。我们拥有工艺专业知识和丰富的催化经验（这始终是我们的核心特征），并且在分析化学和材料科学方面拥有卓越的能力。
	因此，在 CatSci，我们面临的挑战之一是流程优化上游的分类变量的选择。
	这一困难在我们的催化剂筛选工作中表现得最为突出。
	在幻灯片上的图像中，我们可以看到进行催化剂筛选所依赖的一些设备和仪器。
	左侧是预制催化试剂盒，其中包含 24 种预先配制的金属前体和配体组合。
	中心是一个氢化器，里面有一个 48 孔板，可以在右侧看到。
	这样就可以同时进行 48 个独立实验。
	这些仪器专为高通量和小规模而设计，我们为客户运行 10 个或更多这样的板的情况并不少见，总计近 500 个实验。
	那么为什么我们需要进行比较大量的实验，对于提高效率有什么好处呢？
	所以，首先，需要探索的化学空间是极其巨大的。
	对于任何反应，任何化学反应，都有许多因素会产生影响，例如温度、浓度和化学计量。
	然而，催化反应的探索尤其具有挑战性，因为有许多重要的分类因素；这些包括金属前体、配体、试剂、溶剂和添加剂。
	催化反应的另一个特点是经常存在高阶相互作用，这意味着，对于催化剂体系（金属前体和配体的特定组合），
	需要进行大量的溶剂和添加剂筛选来衡量性能。
	仅仅因为某种金属前驱体和配体的组合在某种溶剂中表现不佳就将其排除在外，这是不对的。可能是因为你没有合适的溶剂或合适的添加剂。
	最后，解释更有效的筛选方法的好处的最简单方法之一就是看材料的价格。
	我们的许多催化项目都涉及贵金属，例如铂、钯、钌、铱和铑。其中一些金属是地壳中最稀有的元素，这反映在其价格上。
	只要在 Google 上快速搜索一下它们的价格，你就会发现铑的价格比黄金贵一个数量级以上。
	催化筛选的另一大成本是配体。虽然存在一些廉价的配体，但许多用于不对称合成的顶级配体都是专有配体，例如 Solvias 的 Josiphos，
	最常见、最便宜的 J001 价格仍然是黄金的两倍。
	因此，减少实验次数可以降低消耗品的成本，但当我们为具有多吨制造流程的客户找到最佳解决方案时，会产生最大的影响。
	在这些情况下，将催化剂用量减少十倍或发现一种替代的更便宜的催化剂，例如用钌催化剂代替铑催化剂，每年可以节省数百万美元。
	现在交给 Ben，他将讨论 JMP 英国团队如何解决这个问题。
本·弗朗西斯	非常感谢，大卫。
	所以很明显
	CatSci 和许多其他与 CatSci 类似的公司面临着巨大的配方空间挑战，
	它可能包含非常高阶的相互作用。所以这门科学非常非常复杂，而我们通过实验来解开这种复杂性至关重要。
	不幸的是，由于 David 列出的成本，仅测试每个组合的选择实际上并不是一个明智或可行的选择。
	最终，我们需要采取某种方法，利用数据科学来从数字上理解这些关系。
	因此，为了继续将所选配方应用于制造......多种制造场景，我们需要知道它每次都会起作用，正如大卫所说的那样。
	因此我们查阅了文献，因为在 JMP 我们对 DOE 的应用非常感兴趣，并且我们认为这是 DOE 的一个特殊情况。
	正如我们恰如其分地命名它，它是一个大型的DOE。因此，我们寻找一个可以应用大型DOE方法的案例研究，最终找到了Perera等人的一篇论文，
	他们于2018年发表了一篇论文，研究了这种反应筛选的平台。有趣的是，他们有五个分类因子。
	这听起来可能不算多。他们必须研究反应物1和2、配体、试剂和溶剂，但本文所呈现的复杂性在于每个因素的水平。
	分别为四级、三级、十二级、八级和四级，全部组合起来就有 4,608 种不同的组合。
	现在，在 Perera 等人的论文中，他们对每一个方法都进行了测试，这显然不是对世界上每家公司都可行的解决方案，他们只是测试了每一种组合，正如 David 之前概述的那样。
	你可以在热图上看到，他们能够了解到一些高产地区
	有些产量较低，有些产量也很低。因此，我们进行了大量测试，但最终对工艺流程的理解并不深入。
	并且实验成本非常高。
	所以最终他们找到了一种组合，他们得到了一种组合，然后他们可以在论文中处理它，然后说，看，这就是一般的
	第一次测试是正确的，但从那以后，如果将其应用到多吨级生产场景中，每次测试都正确吗？它还能持续满足所需的规格要求吗？
	大型 DOE 解决方案是否会减少资源需求？
	它第一次就能正确吗？每次都能正确吗？我们衡量这些问题的方式以及我们的表现如何
	首先，为了减少资源需求，我们只允许设计一个总共运行 480 次的实验。这模拟了 10 个 48 个工作板，大约占论文中运行次数的 10%。
	它是否第一次就正确，是通过查看论文中确定的 80 个高收益组合中有多少是经过测试或预测的来衡量的
	通过生成的模型。最终，在10%的运行中，我们预计至少能从我们的……DOE中获得8个高产量组合。
	（这里的高产量是指产量超过 95% 的产量）。
	最后，也是至关重要的一点是，通过查看模型的通用诊断指标——R平方，它每次测量的结果是否正确。最终，我们能否通过观察这些指标，看看我们是否拥有流程洞察力？关系是否合理？组合和交互是否合理？
	因此，为了使自己能够达到标准，我们在这里也采取了同样的措施，即使用 4,608 个完整数据集，我们发现它的 R 平方为 0.89，这是使用提升树方法得出的。
	现在我将把时间交给菲尔，他将概述我们采取的第一个大型 DOE 方法。
菲尔·凯	谢谢本，谢谢大卫，你把场景布置得这么好。所以我们研究了三种不同的方法
	解决这个问题的方法是看看我们是否可以减少论文中实际测试的次数，同时仍然可以获得与 Ben 概述的相同的有用信息。
	所以我将讨论这三种方法中的两种，这两种方法比较极端。一种是保守方法，一种是贪婪方法，然后 Ryan 会讨论一种更加混合平衡的方法，我们认为这种方法最终可能是最有效的。
	所以，按照保守的方法，这是一种标准的DOE方法。我们设计了一个包含10个区块的定制设计，可以运行480次，这代表了David向我们展示的催化剂筛选设备中的10块板。
	主要结果是，通过 480 次实验，我们能够正确预测 13 个最高产量组合将是高产量组合。
	我们能够从 480 次运行的数据集中建立一个模型，当我们用该实验中未使用的数据对其进行测试时，
	R平方大约是0.73，实际上相当不错。从那个小型实验到后来发表的大型实验，我们得到了一个相当不错的模型，对整个系统有了相当好的理解。
	我们从中得到了一些非常有趣的见解：我们需要使用机器学习从这些数据中构建有用的模型，这对我们来说有点意外。我稍后会更详细地讨论这一点。
	我们从使用这种保守方法收集的数据中获得了很好的理解。它让我们很好地理解了整个因素空间，以及为什么某些组合会有效。
	它使我们能够找到替代区域，因此如果我们找到高产组合，但由于成本太高而不切实际，
	如果催化剂太贵，或者它们很危险或有毒，不适合工业生产，那么我们就会有很多替代方案，因为我们对整个领域都有所了解。
	那么，我们是如何做到的呢？
	JMP 中的定制设计。我们
	我设计了480次运行，在这个例子中，我进行了最优设计，分为10个区块。所以，这10个区块代表了David向我们展示的10个48孔板。
	值得注意的是，我们在定制设计中指定了一个用于主要效果的模型。
	对于二阶相互作用和三阶相互作用。对于三阶相互作用以及所有这些分类因子的水平，
	需要估计的参数数量实在太多，我们实际上无法设计一个实验来明确地估计所有这些参数。如果可能的话，我们需要将三阶交互作用考虑进去，所以这是一个480次运行的贝叶斯I最优设计。
	您可以从这个视觉图中看到，我们只是在查看不同轮次的实验，不同的......10 个不同的板块。
	您可以看到，通过在实验中添加下一个盘子，我们正在扩大对整个因子空间的探索。
	我们并不关注任何特定的区域；我们只是填补我们对整个因素空间的知识空白。
	这就是我们在实验中使用的 480 次运行，以及我们从已发布数据集中获得的剩余 4,128 行。我们可以使用这些测试数据来测试我们的模型在保留数据集（也就是测试数据）上的比较效果。
	现在，根据我们所有的 DOE 背景和经验，我们预计
	当我们为某个模型设计实验时，标准回归技术将为我们提供最有用的模型。
	因此，我们在这里使用 JMP Pro，并使用广义回归来拟合完整的三阶模型。
	现在我们实际上使用了β分布，它的预测值在0到1之间波动，所以我们将百分比收益率转换为0到1的区间。这只是一个小技巧，当你像这样建模收益率数据时，如果你有JMP Pro，你可能会想要用到它。
	我们使用前向选择，以 AICc 作为验证方法，这样就可以选出重要的效应。
	我们在每一轮之后都重复此操作，因此第一轮有 48 次运行，第二轮有 96 次运行，第三轮有 144 次运行，一直到第十轮，我们得到了完整的 480 次运行。
	在这里您可以看到在 gen reg 上设置的过滤器，只是为了查看前三轮。
	因此，对于前三轮，这是我们使用 gen reg、前向选择、AICc 验证得到的模型。
	我认为，从我们对化学反应的直观理解来看，这并非一个很好的模型。我们只看到了模型中涉及的两个因素，因此只选择了两个主要效应作为显著因素。
	因此，我们可以将该模型保存到数据表中，然后我们可以看到该模型对保留数据（我们的测试集）的预测效果如何，
	剩下的 4128 行不在实验范围内。我们可以在每一轮都这样做。我们每一轮都这样做，所以我们用 gen reg 构建了 10 个模型。
	现在，作为替代方案，我们认为值得研究一些机器学习方法。这里，我们再次回顾前三轮。
	作为查看大量不同建模技术的一种非常快捷的方法，我们使用 JMP 16 Pro 中的模型筛选。
	我们只需填写收益率以及 Y 和 X 中的因子。我们设置了保留验证列，随机保留 25% 的数据进行验证。
	单击“确定”，它会运行所有这些不同的建模技术，所以我们现在会得到一份报告，告诉我们
	这些...所有这些不同的建模技术，包括一些通用调节模型、神经网络和不同的树方法，效果如何。
	我们选出了其中最好的两个。事实上，在所有实验轮次中，我们发现增强神经网络模型和引导森林模型是表现最好的模型。
	因此，我们可以再次保存预测公式，并使用未参与实验的测试数据集上的公式来比较它们，看看我们的不同模型针对该测试数据集的表现如何。
	我们在这里使用模型比较和 JMP Pro，因此我们比较了所有的 gen reg 模型、神经网络模型和引导森林模型。
	现在，你看到的是与测试数据集的 R 平方的可视化结果。这些模型与保留测试数据集的拟合程度如何。
	你可以看到，使用红色前向选择的标准回归模型，从
	在第一轮，这实际上是最好的模型，但并没有真正改进，然后在第五轮左右突然变得非常糟糕，然后在下一轮才再次变得非常好。所以非常不稳定，而且到最后变得更糟，可能是过度拟合。
	另一方面，机器学习方法是，
	第三轮之后，它们的表现最好，比我们标准的回归技术更好，而且它们一直在进步。事实上，
	您可以看到，神经网络在绿色部分开始时表现更好，而到最后，引导森林的表现优于增强神经网络模型。
	因此，这里的要点是，即使在您可能认为相对简单的情况下，您仍然需要 JMP Pro 中的机器学习方法来获得最佳模型，即针对此类系统或流程的最可靠模型。
	现在我们只需查看已发布的 4,608 次运行的实际产量结果与第 10 轮结束时（即全部 480 次运行之后）我们最佳模型的预测结果的图表即可。右边的图表就是一个引导森林模型。
	效果还不错，你看得出来，它正在捕捉重要的行为。它正在识别低产区域和高产区域。所以，
	特别是在右上角，他们使用碘（？）反应物和硼酸和硼酸酯
	那里的反应物。
	那么，我们将其与另一种极端方法进行比较。第一轮的48次运行完全相同；我们从同样的48次运行开始。然后我们建立一个模型，并使用该模型找出在剩余的运行中，
	在剩下的全部 4,560 次运行中，模型预测哪一次的收益最高，然后我们在接下来的所有轮次中继续这样做，直到 10 次。
	在这种情况下，我们正确地预测了更多的高收益和组合，但当我们在 10 轮之后得到最终模型并将其与数据进行比较时
	我们在实验中没有用到的那个，R平方值很糟糕，只有0.33。所以我们得到的模型实际上对整个系统并没有做出很好的预测。
	所以，我们对一个高产地区有了很好的了解，找到了一些组合，找到了一些有效因素的设置，但这并不能真正帮助我们理解整个系统。我们没有……
	我们并没有减少对整个系统的理解的多样性。
	为了向你展示这个系统、这个方法是如何运作的，这是我们的全部 4,608 次运行，所有可能的组合，正如我在第一轮中提到的，这与第一轮使用保守方法的结果相同，所以这是一个最优的
	那里有一组点，你可以看到它们均匀分布在因子空间中。
	我们根据这 48 次运行的数据建立了一个模型。
	我们用这个模型来预测所有其他可能组合的收益率，然后从中选出 48 个收益率最高的预测，
	就是那些。所以你可以看到，他们专注于收益更高的区域……我们……我们不再探索全部因子空间了。
	如果我们从第1轮、第2轮、第3轮一直到第10轮，你可以看到，每次我们都在添加……我们添加的运行恰好位于左上角高收益区域。所以我们实际上只关注因子空间的一个区域。
	如果我们将实际值与预测值进行比较，您会发现它在左上角的区域中表现相当不错。
	但正如我们预料的那样，它在其他地方的预测相当糟糕；这可能并不奇怪。我们还没有在整个系统上进行试验。我们实际上只是专注于那个高产地区。
	如果你将它与左侧的保守方法进行比较（所以你已经看到了左侧的图表），如果你看看模型
	通过第一轮到第十轮不断改进，然后每一轮我们都会再次使用模型筛选平台来找到最佳模型。
	事实证明，在每个阶段，增强神经网络都是最佳模型。嗯，你又能看出它有点不稳定，就像保守方法中的生成调节器一样。
	有时候，这是可以的，但它永远无法与我们保守实验中的最佳模型相媲美。
	这是两个极端，我将把话题交给 Ryan，他将讨论解决这个问题的更平衡或混合的方法。
瑞安·莱基维茨	谢谢你，菲尔。
	刚才还在做演示，得感谢 Phil、Ben 和 David 允许我参与。作为一名开发人员，稍微动动手其实挺有意思的。我是 JMP 中 DOE 平台的开发人员。
	正如 Phil 在这里提到的那样，我在这里研究的方法是一种混合方法。
	好的，这里的想法是我们将研究优化与探索的想法。
	所以，如果你想想菲尔提到的贪婪方法，那实际上就是优化。我只会追求最好的结果，这是我唯一关注的。而保守方法，则只关心探索。
	所以这里的想法是，我们能否找到一个中间点来
	也许可以进行优化，同时还可以稍微探索一下空间？
	我会说说我在这里做了什么……我实际上是从提前设置好的三个孔板开始的，对吧。所以我做了三个大小为 48 的块，然后我用“如果可能”的 2FI 做了主效应分析。
	原因是，有时候，我不太相信只运行了48次的模型。我说，好吧，让我们再磨合一下。试试144孔板，或者三孔板，这样我或许就能更信任这个模型了。
	因为从某种意义上说，即使你考虑到贪婪的方法，如果你的模型很糟糕，你也会进入糟糕的区域。这对你没有太大帮助。
	再次如此...所以和以前一样，我最终仍然会做总共 10 个孔板或总共 10 个块。
	我会在以后的幻灯片中稍微讨论一下，但实际上我一直在使用 XGBoost。我预测的方式是使用 XGBoost，我接下来会讲到
	这样做。
	但是，这里的想法本质上是取预测值。所以我说，我不会严格追求最好的48个，而是要设定一个阈值。
	好的，所以在前三个之后，我从 50 开始。所以我说，给我大于 50 的预测值，并且随着我继续在更多的孔板上进行操作，我将在每一轮中增加 5。
	我的意思是，这非常随意；部分原因是我们知道我们总共只有 10 轮，也是因为我可以根据预测看出这个集合有多大。
	是的，所以根据数据，如果看起来该集合仍然很大，预测值约为 50，那么您可以对其进行修改。
	因此，这里的想法实际上只是慢慢开始探索有望实现更高产量的地区。
	那么，我们的预测对了吗？嗯，实际上，在 80 个收益最高的组合中，我们得到了 27 个，也就是高于 95 个的组合，这与贪婪方法的预测相差不远。
	如果你再想想R平方，再说一遍，考虑到所有保留数据，最终的测试R平方是0.69，这和保守方法的R平方其实相差不远。所以……
	我的意思是，你现在可能……你可能要谨慎一些，光看这两个数字就够了，但基于此，这种混合型产品确实看起来是两全其美的。我的意思是，你虽然有所取舍，但你也得到了一些好处。
	以上只是对这种方法的一些见解。实际上，我想说，最终我们确实对与高收益相关的因子空间有了更好的理解。
	我认为贪婪，如果你能回想一下那些点在哪里，它们实际上集中在左上角，所以它实际上并没有对那个空间进行更多的探索。
	你可以想象一下如果...
	如果那里某种东西的价格一夜之间突然上涨了四倍，那么现在你对该地区其他地方的情况就一无所知了。
	是的，通过这种混合方法，我们可以得到更多关于如何和为什么的信息，以及一些组合，这为我们提供更好的选择
	再说一次，也许如果您要考虑其他因素，您愿意牺牲一点点收益，因为根据其他测量结果，还有更好的选择。
	所以，实际上，这里的想法……是的，所以让我来解释一下这在定制设计中是如何实现的，对吧。我采取的方法是
	在自定义设计器中使用协变量，我认为它有时有点被低估了。
	但是，我的想法是，我拿走了完整的数据集，也就是全部 4,608 次运行，
	每一轮……所以你可以想象，一开始我选择了那些……我选择了144次运行的设计，然后我说，好吧，我要从整个数据集中取一个子集。如果我已经在之前的设计中选择了它，那么我需要确保它包含在内。
	然后，再给我高于该特定值的预测产量，因此，对于第四个设计，从 50、55、60 等开始。
	因此在数据表中
	现在，我要做的是选择之前实验中用过的设计点。确保这些点被突出显示。然后，在自定义设计中，当你在“添加因子”下时，有一个选项叫做“协变量”。再说一次，我认为……
	很多人以前从未真正见过协变量，我在这里提到，因为我认为我可能要花一整个演讲来谈论协变量，
	但实际上会有一些博客文章（如果您在观看此视频时它们还没有发布，那么在您观看此视频的几天内可能会发布）
	我接下来会稍微谈谈如何真正运用协变量。不过，你可能之前也听说过“候选集”，所以这个想法是……
	这是先前选择的数据集的子集以及诸如此类的所有内容，它告诉自定义设计师您只能选择这些设计点。
	你不能用标准的方式，我们会不断尝试切换坐标等等。它会告诉 JMP 自定义设计器，你必须在设计中使用这些运行，特别是，
	使用协变量的一个选项是，你可以强制使用之前选择的设计点，这样实际上就像在进行设计增强
	使用协变量后使用候选变量。
	当然，因为在这种情况下……在这种情况下，我真的不能放弃那些我之前试验过的设计点。实际上，我们只想选出接下来的48个。
	不过，如果您考虑定制设计，我也应该在这里提一下……
	因此，在每一个方面，我所做的是...所以如果可能的话，两个因素相互作用，然后是三个因素相互作用。
	但……那其实更像是一种探索设计空间的机制，对吧。我当时拟合的模型
	事后使用了 XGBoost，所以我的意思是该设计并没有针对 XGBoost 模型或类似的东西进行优化。
	这更像是一种替代方法，探索预测收益率看起来不错的设计空间，尤其是因为这涉及到分类因子，所以它会确保达到一个良好的平衡。还有一件事要提一下，
	如果你想……再说一次，因为它没有使用底层模型，比如XGBoost之类的，你可以使用响应。所以在这个例子中，他们预测收益率是另一个协变量，这样做的目的是试图在高收益率和低收益率之间取得更好的平衡。
	在尝试进行设计时做出响应。
	所以我们在这里没有探讨这个问题，但我认为这在未来会是一件有效的事情。
	所以，预测收益率。正如我之前提到的……所以我认为当菲尔谈到他尝试过的其他机器学习技术时
	对于我的???，我实际上主要关注 XGBoost。
	如果你看看左边，我这么做的原因之一是想尝试
	使用 K 折交叉验证，但我使用设计编号，也就是每个附加折的孔板编号。因此，不是随机选择不同的 K 折，
	它会说，我要查看孔板，然后试着把每个孔板都拿出来。所以，你可以想象一下，对于第一个孔板，当我只有三个孔板时，
	它会取出每个孔板，将其取出，然后根据剩下的两个孔板，看看它的预测效果如何。所以，当我拿到第十个……第十个孔板时，结果实际上差不多是十倍了。
	因此，我这样做的原因之一是考虑尝试使该模型对于您尚未见过的下一个孔板具有稳健性。
	事实上，如果某个孔板出了问题，这也许能保护你，
	那么，也许也能得到一点保护。
	我对 XGBoost 做的另一件事是，当您启动 XGBoost 平台时，例如通过插件，您会看到顶部有一个小复选框，我们称之为调整设计。
	因此，通过这种调整设计，
	它实际上是在封面后面安装一个空间填充设计，并针对不同的超参数运行所有这些。
	所以我每次做这个的时候都做了什么，
	我会选择一个50次运行的调优设计，但只是探索一下超参数空间。所以我每轮都会选择一个
	是验证集 R 平方最好的那个。所以，在这种情况下，验证集 R 平方实际上只使用了我已有的设计点，对吧？所以这是用……进行 K 折。
	用不同的孔板。所以在这种情况下，验证集的R平方不是……我不会使用那些还没见过的数据，因为实际上我还没有这些数据。
	但这仅仅是说使用那种验证技术，我用的是孔板。所以，这也是我大部分时间使用 XGBoost 的原因，我只是尝试了一些不同的东西
	使用 K 折叠技术，而且，当谈到 XGBoost 时，我真的很喜欢使用空间填充。
	我们来看看。这些是连续几轮中被选中的点数。现在，
	如果您想想贪婪方法中发生了什么，我的意思是，它实际上集中在左上角。
	是的，但是现在，如果你看到这种混合方法，
	随着比赛开始进入下一轮，你会看到它会稍微填充这些点，但我们也会得到更好的......更好的点采样，特别是在左侧。
	对，如果从这个角度考虑，现在对于那些高产地区来说，你有很多更好的选择。
	我认为是这样...如果我们现在看看实际情况与预测情况，
	我实际上认为这也有一定的说明作用，因为我们做了更好的探索。
	在那些高产地区，也许
	我认为没有达到那么高的水平，如果你看左下角，我认为我们在混合模型中做得更好，挑选出了一些可能可行的替代方案。
	这种方法的其中一个好处是，我可以关注的不仅仅是产量。
	好的，所以如果你认为...
	我可能会有第二种反应，无论是某种毒性，还是成本，诸如此类，
	当我查看这些预测值时，我可以关注的不仅仅是收益率。所以，如果你想到贪婪方法，
	如果你开始添加次要的……你想要考虑的次要标准，那么开始进行平衡就会困难得多。而使用这种子集方法，添加次要响应其实一点也不难。
	我想我现在就把它交给本来得出结论。
本·弗朗西斯	所以，
	非常感谢 David、Phil 和 Ryan 向我们介绍了我们处理这个问题的背景，并最终为我们提供了两三个非常好的解决方案和方法
	看看我们如何解决这个问题。在所有这些方法中，JMP 显然都在为科学家创造价值。因此，我们直接、直接地将实验资源减少了十倍。我们只使用了 10% 的运行次数。而且
	最终，我们在每种情况下所实现的目标是满足规范并通过实验提供高收益的解决方案。
	但除此之外，我们还展示了如何根据采用这种方法的公司的目标和策略，实现不同层次的深度流程理解。
	现在，你可能注意到了，我们JMP的三位成员对CatSci如何解决这个问题非常感兴趣。我们不一定非要
	把问题从 CatSci 转移到我们自己身上；我们提供工具，以便从 DOE 的角度解决这个问题。这是一次非常棒的合作，客户 David 和
	我和 Phil 负责技术销售，Ryan 负责产品开发，关键在于我们都从不同的角度看待这个问题
	为了实现这种解决方案，正如我之前所说，我们可以根据需要实现的目标，以不同的方式看待深度流程理解。
	我们在此过程中发现了一些问题，这让我们 JMP 非常兴奋，并将推动产品改进，然后我们会将这些改进反馈给你们
	作为客户。我们了解到机器学习方法适用于这种大型DOE情况，而且正如您所知，使用JMP可以轻松应用它们。我们还了解到在验证方法方面需要谨慎，我们可以进一步研究。
	因此，最终，我们在这里展示了大量针对 DOE 重大挑战的工作，并且我们确信有很多公司，类似于 CatSci，正在解决这类问题。
	因此，我们邀请大家进一步探索我们所做的这项工作，我们在社区方面有两个链接，我们将在其中发布资源和视频，
	以及一篇 JMP 公开文章，方便您亲身体验我们在此过程中使用的数据。因此，我们代表所有参与本次演示的人员，衷心感谢大家的观看。

高级统计建模基础数据分析与建模消费者和市场研究数据混合和清理数据探索与可视化实验设计大规模定制预测模型和机器学习质量与工艺工程可靠性分析分享和交流结果