即使在机器学习算法能够处理海量信息的时代，处理大型数据集仍然面临着独特的挑战。依赖蛮力分析海量数据集会导致效率低下、模型过拟合、噪声累积以及数据量增加带来的收益递减等问题。
智能子抽样是指选取具有代表性的数据部分，这种方法通常能提供更具针对性和洞察力的分析结果。子抽样有助于构建更易于解释的模型，因为减少的数据集简化了变量之间的关系。因此，智能子抽样应成为众多应用领域的首选方法，包括材料科学、生物医学研究、环境建模、市场分析和社会科学。
但是，既然可以采用更智能的方法，为什么还要使用蛮力呢？本次演示将通过交互式的方式，展示 JMP Pro 在复杂材料建模领域的最新功能，说明精心设计的子采样方法，结合经典和先进的建模技术（多元线性回归、神经网络、支持向量机、广义回归），可以得出稳健的预测结果。
大家好。感谢观看本次2025年欧洲探索峰会的演讲。我是达米安·佩雷特（Damien Perret），法国原子能委员会（CEA）的研发科学家。今天，我和卡罗尔·苏阿尔（Carole Soual）共同为大家带来演讲，卡罗尔是Ippon Innovation公司的统计学家。我们和卡罗尔非常高兴今天能来到这里，并衷心感谢指导委员会给予我们这次机会，让我们能够分享这项研究成果——一种应用于预测建模的智能子抽样方法。
我们先来简单介绍一下法国原子能委员会（CEA）。CEA是法国政府下属的研究、开发和创新机构，其研究领域涵盖四个方面：低碳能源、数字技术、未来医疗技术以及国防和安全。
法国原子能委员会（CEA）在9个地点拥有约21000名员工。我们通过各种联合研究机构与大学建立了牢固的合作关系，拥有大量专利，并拥有约60亿欧元的创业孵化预算。
Ippon Innovation 是一家数据科学家公司，致力于为行业提供先进的算法。我们的目标是优化制造成本和测试时间，从而提升复杂产品的质量，并从大数据中挖掘微小信号。我们提供咨询、培训和按需高级研究服务。我们拥有多个项目，例如定制统计解决方案和先进工具，其中一些已获得专利。
这项工作的动机源于这样一个事实：尽管大多数最新的机器学习算法能够处理大量信息，但处理大型数据集仍然面临一些挑战。我们认为，与其对海量数据集使用蛮力方法（这可能会由于多种原因导致预测性能下降），不如采用智能子采样这种更具洞察力的方法，从而构建更易于解释的模型。本文展示了该方法在材料科学领域的应用，但我们认为，这种方法还可以应用于物理和化学领域之外的其他领域。
对于大家来说，我们在2021年参与了这项研究的探索，并进行了预览以解释研究方法。在过去的四年里，该方法得到了很大的改进，预测能力也显著提高，因此我们想向大家展示我们最新的研究成果。
本文的主要目标是开发一种精心设计的子采样方法，正如您将看到的，该方法结合了经典建模技术和更先进的建模技术，以实现稳健的预测。为此，我们希望使用 JSL 编写算法，并在 JMP Pro 18 中实现。
今天，我们将以玻璃熔体粘度预测为例，展示如何应用这种方法。因此，模型的响应变量是玻璃粘度。影响因素是玻璃氧化物的重量百分比，我们的数据库包含商业数据集和专有数据集。
简而言之，玻璃是一种非晶态材料，通过快速淬火制成，它是多种氧化物的混合物。氧化物的种类繁多，从最简单的玻璃中的2到3种，到成分最复杂的玻璃中的约30种，甚至更多。
玻璃黏度的一个重要特点是其变化范围非常广，这使得预测这一性质极具挑战性。玻璃黏度对成分也高度敏感，结晶等机制通常会对熔体的流变性质产生很大影响。
地质学中熔岩的行为可以很好地类比结晶和黏度之间复杂的相互关系。高温下，熔岩是一种黏稠的均质流体，与氧化物玻璃熔体非常相似。当熔岩温度降低时，通常会引发快速而大量的结晶，这会对熔体的黏度产生巨大影响。
从这张图中可以看出，这种结晶引起的粘度增加可达八个数量级，也改变了熔体的实际逻辑行为，使得粘度预测变得非常困难。
我们想在此展示的是，即使对于成分非常简单的玻璃，粘度预测也并非易事。我们选取了三种SBN玻璃成分，这是一种仅由三种氧化物组成的非常简单的玻璃。我们应用了文献中最为知名的模型来计算粘度。然后，我们将预测值与我们用自有设备测得的实验值（图中以红色标出）进行了比较。可以看出，即使对于成分非常简单的玻璃，也很难获得一个可靠的预测粘度值。
机器学习技术在玻璃材料科学领域，尤其是在玻璃粘度预测方面，应用越来越广泛，但预测精度仍然有限。我们过去曾尝试应用神经网络来预测玻璃粘度，但对结果并不满意。
例如，我们观察到一些意料之外的模式，以及与实际测量值相差几个数量级的偏差。最近的一些研究也使用了神经网络，结果也出现了类似的情况，预测值和测量值之间甚至存在六个数量级的差异。
最后，我们得出结论，全球数据集存在如此大的差异，玻璃熔体中发生了如此多的物理和化学非线性机制，影响其粘度，因此在全球数据库上使用传统的机器学习并不是最佳方法。
下图清晰地展示了我们的数据库，其中每个点代表成分域多维视图中的一个玻璃杯。数据可能来自不同的独立研究，也可能来自实验设计，或者来自每次只改变一种成分的参数研究。最终，这形成了一个非常异质且分布均匀的数据库。
该策略基于这样的假设：与其使用所有数据，我们认为最好只用相似数据训练预测模型。例如，如果我们想预测某个区域的数据，我们会用该区域已有的数据创建模型。如果我们想预测另一个区域的属性，则会创建不同的模型。
我们说这种方法是动态的，因为预测模型取决于成分，并根据我们想要预测的范围进行拟合。它是自动化的，因为我们无需手动操作。每一步都由我们工具中实现的算法完成。
我们用于创建训练数据集的策略基于实验设计方法。对于每个预测，我们首先围绕目标成分生成一个最优的实验设计方案（DOE），然后将该方案的每次运行结果替换为数据库中最相似的实验数据，从而得到最终的训练数据集。
该工具的预测部分实现了四种算法：一种是基于多元线性回归的经典多项式模型、GENREG模型、神经网络模型以及新增的支持向量回归模型。最终，我们得到的不是一个预测值，而是四个预测值。通过取这四个预测值的中位数，我们可以得到一个非常稳健的响应估计值。正如我们将在演示中看到的那样，我们还计算并分析了几个统计指标，以比较不同预测算法的性能。
以下是一些关键参数。尽可能多地采纳玻璃专家的意见至关重要。其中一个重点是数据的来源和可靠性。为此，本项目投入了大量时间来构建一个可靠的数据库。
我们还必须创建特定的算法来处理氧化物和粘度的性质和作用。我们必须实现各种方法，并且必须研究不同的方法来计算相似成分之间的距离。所有这些都在工具算法中得以实现。
在演示之前，这里先展示一下该工具的示意图，其中也展示了最近新增的功能。采样部分和预测模型中的许多算法都已更新。正如我们之前提到的，支持向量回归（SVR）也已实现。此外，现在可以输入单个玻璃成分或成分列表，这使得我们可以通过使用大量成分来评估该工具的性能。
就计算时间而言，生成一个产品只需不到一分钟。这还可以接受，但我们目前正在努力提升代码效率。正如我们所说，所有代码都是用 JSL 编写的，并附带一个插件。
演示，谢谢 Damien。我将分享我的屏幕。JMP 插件自 JMP Pro 16 版本起就已开发，用于 CEA 的 MS [听不清 00:13:28] 工具。现在它已包含在 JMP Pro 18 版本中。该插件提供两种玻璃预测方法。JMP 菜单中的第一个按钮包含一个用户界面，用于预测单个玻璃在一个或多个温度下的粘度或热重 (TG)。第二个按钮是自动版本，仅预测一组玻璃在某个温度下的性能。
如果我进入插件文件夹，您可以看到通过两个按钮运行的两个主要脚本，以及这两个主要脚本使用的不同函数或表达式。该文件夹包含用于预处理数据以构建学习样本数据、预测模型以及最终构建分析输出的脚本。
我们先运行第一个按钮，也就是交互式版本。用户首先需要选择包含所有玻璃粘度（JMP 格式）的全局数据库的文件夹。然后我需要选择成分元素，也就是我想预测粘度的玻璃的氧化物。最后，我点击“确定”。
在这里，我需要填写玻璃整体成分中每种元素的百分比含量。例如，我想预测粘度的玻璃含有6.5%的氧化钙（CaO）。最后一步是填写温度。我想预测的是两种温度下的粘度：1100摄氏度和1200摄氏度。Damien解释的四个模型都适用于这两种温度。目标是预测玻璃的粘度。计算两种温度下的粘度大约需要1分钟。
最后，我得到了这个输出窗口。我们可以选择最感兴趣的温度来进一步分析预测结果。这里，我们选择 1200 度。点击“执行”按钮将打开最终的输出窗口，该窗口显示的是 1200 度下的粘度放大图。
首先，概要部分包含了我们想要预测的玻璃成分以及模型中实际考虑的元素。然后，概要部分给出了模型的质量，例如平均绝对误差或R平方值。关于自适应DOE方法，还有更多细节可供参考，例如，这里DOE最优模型和自适应DOE模型之间的相关百分比，两者之间有80%的元素相关。这是一个非常好的项目。
文中还给出了预测公式和影响。例如，对于BIC模型，我们可以看到SiO₂是模型中最重要的氧化物。最重要的输出结果在这里，即图表中预测结果的汇总，该图表显示了不同模型预测的粘度值。我们可以看到每个点对应的粘度预测值。BIC F模型为61分帕秒，GLM模型为67分帕秒，神经网络模型为49分帕秒，SVR模型为64分帕秒。
图中绿色虚线水平线所示的玻璃与目标玻璃最为接近，其测得的真实粘度为 68 分帕斯卡秒。这个最接近的玻璃就在这里。它与我们想要预测的玻璃非常接近。例如，我们之前使用的玻璃中 CaO 的含量为 6.5%，而最接近的玻璃中 CaO 的含量为 6.4%。由于我们不知道待预测玻璃的真实粘度，因此我们将预测值与最接近的玻璃的真实粘度进行比较。
最后，对于这种玻璃，预测值的中位数为 62.5。考虑到其最接近的玻璃的实测粘度，这是一个非常好的结果。GLM 和 SVR（此处和此处）是预测粘度的最佳模型。
接下来，达米安将以表格的形式展示该工具的自动化版本分析和输出结果。
我们使用包含 7500 条数据的测试集评估了该工具的性能。我们关注的指标是粘度对数的绝对误差，它反映了预测粘度与报告值之间的数量级差异。我们通常认为，在整个可能的粘度值范围内，将粘度预测值与报告值之间的误差控制在一个数量级以内是非常有效的。
以下是我们得到的结果，其中预测粘度为四种算法预测结果的中位数。我们对预测的准确性印象深刻，因为预测粘度的误差小于一个数量级，这正是我们对绝大多数数据所期望的。其次，只有极少数样本的误差较大。最大误差为 3.3 个数量级，远低于文献中粘度模型的误差。
另一点也很重要，在粘度值从 1 到 10 分帕秒的整个范围内，预测精度都很好。最后一点是，对于我们应用中主要关注的玻璃成分，精度甚至更高。
我们目前正在调查预测误差最大的数据背后的原因。就成分而言，预测误差似乎与某些化学元素的存在高度相关，这些元素已知对玻璃粘度有显著影响，但在数据库中仅存在于极少数成分中。我们还观察到，这些异常值到最近邻的距离明显更高。
最后，我们还尝试检验报告数据的年份是否会产生影响，因为可以想象，60 或 80 年前用于测量玻璃粘度的实验设备可能精度较低。事实上，这些图表显示，对于较新的数据，预测误差往往更小。
最后，我们观察到这四种模型在绝对误差分位数方面给出了非常接近的预测结果。神经网络的绝对误差最大值显著较小，而支持向量回归（SVR）的绝对误差最大值则更小，最终得到的平均误差也更小。由于这四种模型均有效，我们决定取其预测结果的中位数，以确保预测结果的高度稳健性。
综上所述，我们提出了一种基于数据动态子采样的预测方法。我们实现了四个不同的模型，这些模型均基于从最优实验设计（DOE）生成的相似数据子集进行训练。该过程完全自动化，所有步骤均使用JSL编写，并以插件形式集成到JMP Pro 18中。
该工具的预测能力已在包含约 7,500 种玻璃成分的数据集上进行了评估，结果非常准确，特别是对于感兴趣的玻璃成分。
接下来，我们希望评估并可能实施一些我们认为对本应用有前景的其他预测技术。我们还将尝试开发一个Python接口，以便将此工具与我们已用于处理玻璃化过程的其他有限元模拟代码相连接。
非常感谢您的关注。
谢谢。
