欢迎回到充满信心的分析。 在本系列中，我将探索现代数据分析成功的关键：验证。 在第一个帖子，我与 Ron Kenett 和 Chris Gotwalt 讨论了通用性的必要性。 在这篇文章中，我们将看到模型无法泛化的问题。 为此，我们需要破解 JMP 中防止“过度拟合”模型的保护措施。
反应配方——科学与工程案例研究
让我们通过一个案例研究来实现这一点，该案例研究调查了用于制造高价值化学产品的配方的数千种变化 [1]。 该反应需要五种关键成分：
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.我手绘的反应示意图。 如果您不是化学家，请不要担心 - 重要的是有很多不同的可能配方。
对于其中的每一种，都有几种变体可供选择：四种亲电子试剂、三种亲核试剂、12 种配体、八种碱基和四种溶剂：
这意味着有 4608 种可能的食谱（4 x 3 x 12 x 8 x 4）。 什么样的成分选择组合会给我们带来最高的产量（最完全地转化为最终产品）？ 为什么？ 出于安全或环境原因，“最好”的成分可能太贵或不受欢迎，而且可能还有其他选择可以给我们带来类似的高产量。
我们有数据可以帮助我们回答这些问题。 我们有 150 种可能的配方已经过测试并确定了 % 产量。 可视化这些是一个好的开始：
产量低的配方呈深粉色，产量较高的反应呈绿色。 周围的空白代表所有没有尝试过的食谱。 有这么多变量不容易看出，但三氟硼酸盐亲核试剂似乎会导致较低的产率（右三）。 使用其他亲核试剂和 6-IQ 作为亲电试剂（左上）的配方通常更好。
JMP 中的交互式分布图显示了最高产量配方的共同点：
但在这样一个复杂的系统中，仍然很难看到输入或“预测变量”（此处为蓝色）与 %Yield 结果或“响应”（橙色）之间的所有模式。
决策树或“分区”分析是一些最流行的大数据机器学习方法的基础。 该算法使用预测变量之一搜索将所有观察结果（此处的食谱）一分为二的最佳方法。 “最佳”拆分在两个分支之间的平均响应中具有最大差异。
You can launch the Partition platform from Analyze > Predictive Modeling.您可以从 Analyze > Predictive Modeling 启动 Partition 平台。
在这里，我们发现最好的分离是在亲核试剂上，硼酸酯或硼酸的平均产率为 49.3%，三氟硼酸盐的平均产率为 23.4%。 这告诉我们亲核试剂的选择很重要，但没有给我们准确的预测。 如果我们使用硼酸酯或硼酸，模型预测产率为 49.3%。 从上图中的实际值，我们可以看到我们可以预期收益率在 0 到几乎 100% 的范围内！ 它没有告诉我们其他因素对产量的影响：
我们可以通过在每个新分支上重复分区算法来改进模型。 这R方是跟踪模型“拟合度”如何改进的有用度量。 它告诉我们有多少我们的响应变化是由模型中的因素的影响解释的。 它越接近 1，模型解释的变异越多。
二次分割后 R 方从 0.204 增加到 0.442。 24 次拆分后，它是 0.825：
此时 JMP 阻止我们进一步分裂，因为我们已经达到最小分裂大小 5 的限制。 这是 JMP 中防止您制作愚蠢模型的护栏之一。 对于这个例子，我们将最小尺寸设置为 1 并保持分裂。
You can change the minimum size split from the red triangle menu.您可以从红色小三角菜单更改最小拆分大小。
97 次拆分后，我们不能再拆分了，R 方为 0.985，这意味着我们的模型捕获了 98.5% 的收益率变化。 我们可以看到 RSquare 如何随着拆分历史的模型复杂性的增加而增加：
该模型现在复杂得多，正如我们从预测分析器中看到的那样：
我们可以使用该模型来预测我们尚未测试的配方的产量，以优化配方并了解更改配方如何影响产量。 我们可以推断出哪些预测因素最重要，并且我们可以看到这些因素如何相互作用。
这个模型有多好？
我们可以从 R 方和实际与预测图看出模型与数据非常吻合。 也就是说，该模型主要对用于训练模型的配方的产量做出准确预测。
但它能概括吗？ 我们应该对未经测试的食谱的预测有信心吗？
在这种情况下，我们可以直接回答这个问题，因为所有 4,608 种可能的配方都是使用自动化高通量筛选实验执行的。 我们使用的 150 个食谱只是我从完整数据中随机抽取的示例。 模型预测的热图显示与实际产量有一些相似之处，但也有明显差异。
所有 4,608 个配方的实际 % 产量与分区模型预测的对比图看起来不太好：
不好了！ 对于实际产量接近 0 的几种配方，分区模型预测的产量接近 100%（图右下方）。 R 方为 0.5。 显然，这种“过拟合”模型根本不能很好地泛化。
在下一篇文章中，我们将了解 JMP Pro 中的验证和其他一些工具如何帮助我们构建可概括的预测模型，以便您可以自信地应用分析。
[1] 来自 Perera D、Tucker JW、Brahmbhatt S、Helal CJ、Chong A、Farrell W、Richardson P、Sach NW 的数据。 用于自动化纳摩尔级反应筛选和微摩尔级流动合成的平台。 科学。 2018 年 1 月 26 日；359(6374)：429-434。 doi：10.1126/science.aap9112。 PMID：29371464。 采样数据集和完整数据集作为 JMP 数据表附加。
