欢迎回到充满信心的分析。在本系列中，我正在探索现代数据分析成功的关键：验证。在第一篇文章中，我与 Ron Kenett 和 Chris Gotwalt 讨论了普遍性的必要性。在这篇文章中，我们将看到模型无法概括的问题。为此，我们需要破解 JMP 中的保护措施，防止模型“过度拟合”。
反应配方——科学与工程案例研究
让我们通过一个案例研究来实现这一点，该案例研究调查了制造高价值化学产品的配方的数千种变化 [1]。该反应需要五种关键成分：
Reaction schematic hand-drawn by me . Don't worry if you are not a chemist - the important thing is there are lots of different possible recipes.我手绘的反应示意图。如果您不是化学家，请不要担心 - 重要的是有很多不同的可能配方。
对于每一种都有多种变体可供选择：四种亲电子试剂、三种亲核试剂、12 种配体、八种碱基和四种溶剂：
这意味着有 4608 种可能的配方 (4 x 3 x 12 x 8 x 4)。哪种成分选择组合将为我们带来最高的产量（最完全地转化为最终产品）？为什么？ “最好的”成分可能太昂贵，或者出于安全或环境原因而不受欢迎，并且可能还有其他选择可以给我们带来类似的高产量。
我们有数据可以帮助我们回答这些问题。我们已经测试了 150 种可能的配方并确定了产率百分比。可视化这些是一个好的开始：
产量较低的配方呈深粉色，产量较高的反应呈绿色。周围的空白代表所有没有尝试过的菜谱。存在如此多的变量并不容易看出，但三氟硼酸盐亲核试剂似乎会导致产率较低（右第三）。使用其他亲核试剂和 6-IQ 作为亲电试剂（左上）的配方通常更好。
JMP 中的交互式分布图显示了最高产量配方的共同点：
但在这样的复杂系统中，仍然很难看到输入或“预测变量”（此处为蓝色）与％Yield结果或“响应”（此处为橙色）之间的所有模式。
决策树或“分区”分析是一些最流行的大数据情况机器学习方法的基础。该算法使用预测变量之一搜索将所有观察结果（此处为配方）一分为二的最佳方法。 “最佳”分割在两个分支之间的平均响应中具有最大差异。
You can launch the Partition platform from Analyze > Predictive Modeling.您可以从“分析”>“预测建模”启动分区平台。
在这里，我们发现最好的拆分是在亲核试剂上，硼酸酯或硼酸的平均产率为 49.3%，三氟硼酸盐的平均产率为 23.4%。这告诉我们亲核试剂的选择很重要，但并没有给我们精确的预测。如果我们使用硼酯或硼酸，模型预测产率为 49.3%。从上图中的实际值，我们可以看到，我们可以预期收益率在 0 到几乎 100% 的范围内！它没有告诉我们其他因素对收益率的影响：
我们可以通过在每个新分支上重复分区算法来改进模型。 R 方是跟踪模型“拟合度”如何改进的有用度量。它告诉我们模型中因素的影响可以解释我们的反应有多少变化。它越接近 1，模型解释的变化就越多。
第二次分割后，R 方从 0.204 增加到 0.442。 24 次分割后，为 0.825：
此时，JMP 阻止我们进一步拆分，因为我们已经达到了最小拆分大小 5 的限制。这是 JMP 中防止您制作愚蠢模型的护栏之一。对于此示例，我们将最小大小设置为 1 并继续拆分。
You can change the minimum size split from the red triangle menu.您可以从红色小三角菜单更改最小分割尺寸。
97 次分割后，我们无法再分割，R 方为 0.985，这意味着我们的模型捕获了 98.5% 的收益率变化。我们可以通过分割历史看到 R 方如何随着模型复杂性的增加而增加：
正如我们从预测刻画器中看到的那样，模型现在更加复杂：
我们可以使用该模型来预测尚未测试的配方的产量，以优化配方并了解更改配方如何影响产量。我们可以推断哪些预测因素最重要，并且可以看到这些因素如何相互作用。
这个模型有多好？
从 R 方和实际与预测图中我们可以看到该模型与数据非常吻合。也就是说，该模型主要对用于训练模型的配方的产量进行准确的预测。
但它具有普遍性吗？我们应该对我们尚未测试的食谱的预测充满信心吗？
在这种情况下，我们可以直接回答这个问题，因为所有 4,608 种可能的配方都是使用自动化高通量筛选实验执行的。我们使用的 150 个食谱只是我从完整数据中随机抽取的，作为说明。模型预测的热图显示了与实际产量的一些相似之处，但也存在明显的差异。
所有 4,608 种配方的实际百分比产量与分区模型的预测的关系图看起来不太好：
不好了！分区模型预测的几种配方的产量接近 100%，而实际上产量接近 0（图右下角）。 R 方为 0.5。显然，这种“过度拟合”模型根本不能很好地概括。
在下一篇文章中，我们将了解 JMP Pro 中的验证和其他一些工具如何帮助我们构建泛化预测模型，以便您可以自信地应用分析。
了解更多：
[1] 数据来自 Perera D、Tucker JW、Brahmbhatt S、Helal CJ、Chong A、Farrell W、Richardson P、Sach NW。用于自动化纳摩尔级反应筛选和微摩尔级流动合成的平台。科学。 2018 年 1 月 26 日；359(6374):429-434。 doi：10.1126/science.aap9112。 PMID：29371464。采样数据集和完整数据集作为 JMP 数据表附加。
没问题。 我也非常喜欢这个数据集。 从科学研发环境中找到真实的“大”（而不是“大”）数据是件好事。 
