本文展示了利用机器学习技术对光谱数据进行分类，构建样本识别模型的实例。
下图可视化了草莓果泥的中红外光谱 (FT-IR) 数据。
左侧的红色光谱代表草莓果泥，而右侧的蓝色光谱代表非草莓果泥（由不含草莓的水果制成的果泥）。
红色（草莓）和蓝色（非草莓）光谱总体上呈现相似的形状，但在某些波数区域观察到吸光度（Y 轴值）的差异。
因此，我们将构建一个机器学习模型，以多个波数的吸光度数据作为输入，输出（标签）“草莓”或“非草莓”，以区分两者。
此外，我们将根据所获得的模型，研究哪些波数范围对于区分这些粒子是有用的。
数据详情
该数据包括从草莓泥（草莓）和非草莓果泥（非草莓）中获得的中红外 (MIR) FT-IR 光谱数据（来源列于博客末尾）。
在波数范围为900–1800 cm⁻¹的范围内测量每个样品的吸光度，总共获得了草莓和非草莓样品的 983 个光谱数据。
下图叠加显示了草莓（红色，N=351）和非草莓（N=632）的光谱数据。如前所述，光谱形状本身相似，但在特定波数区域存在差异。
我们利用机器学习技术，通过捕捉光谱数据中多个波数的差异，来尝试区分草莓和非草莓。
数据结构
用于分析的数据结构如下：
提供了一列名为“类别”的列，用于区分草莓和非草莓，这与分类模型中的标签相对应。
其他列包含每个波数的吸光度，该数据使用 235 个波数点的光谱信息作为解释变量。
以下说明将使用 JMP Pro 的功能。
此外，983 行数据被随机分割，其中 75% 用作训练数据，25% 用作验证数据。
在 JMP Pro 中，通过进入[分析] > [预测模型] > [创建验证列]并将“类别”指定为 [分层] 列，您可以创建一个“验证”列，该列将数据划分，使得每个类别级别的训练数据和验证数据的比例大致相等，如下图所示。
利用函数主成分分析法对光谱数据进行降维
如本例所示，光谱数据是具有许多连续变量的多元数据，因此通常使用主成分分析 (PCA) 来降低其维度，并通过视觉方式确认是否可以将各组分开。
然而，在这里我们将使用函数主成分分析（FPCA）将整个光谱视为一个“函数”，并尝试根据其形状的差异对其进行分类。
JMP Pro 允许您使用名为“函数数据浏览器”的平台执行此函数主成分分析。
为了进行功能主成分分析，我们首先将合适的小波函数拟合到每个频谱，从而将频谱表示为一个单一函数。然后，我们提取函数形状的差异作为主成分。
下图展示了通过将小波模型拟合到光谱数据并进行函数主成分分析而得到的报告。此处的“得分图”输出应被视为主成分分析图的函数版本。函数的形状被简化为二维，并绘制了983个样本中每个样本的坐标。
这意味着彼此靠近的样品将具有相似的光谱形状，而彼此远离的样品将具有不同的光谱形状。
从得分图中可以看出，草莓（红色）集中在中心附近，而非草莓（蓝色）则分布得更广泛。
虽然仅使用这两个轴很难进行完全分类，但分布中的偏差，特别是主成分在一个方向上的偏差，表明光谱形状的差异可能对分类产生多元影响。
利用机器学习技术构建分类模型
现在真正的工作开始了。机器学习中有很多分类模型的方法，但使用“模型筛选”平台可以将多个模型应用于同一组数据，并比较它们的性能。
对于此数据集，在“模型筛选”中，指定以下列：[Y，目标变量]、[X，解释变量] 和 [验证]。通过指定验证列，您可以将模型拟合到训练数据，然后使用验证数据验证其性能。
在左下角的“方法”部分，选择您要应用的模型。在这里，您可以选择与分类模型相关的方法。
当应用所有使用这些设置检查的模型后，每种方法在“验证”数据集上的拟合优度统计量如下所示。默认情况下，它们按“熵 R 平方”降序排列。
结果表明，“神经增强”（通过增强来提高预测精度的神经网络）在所有拟合优度统计中都取得了最佳结果。
R平方值接近1，误分类率为0.0041，小于1%。这表明，这235个光谱变量几乎可以完美地区分草莓和非草莓。
注意：在“模型筛选”中，要估计的参数的最大数量限制为450 。
因此，对于具有更多波数点的光谱数据，请使用单独的平台。
使用最佳模型评估关键变量
查看应用程序报告，找出性能最佳的“神经增强”方法。
该报告显示了训练数据和验证数据的拟合优度统计量和混淆矩阵（双向表，显示观察到的和预测的分离类别之间的对应关系）。
混淆矩阵显示，训练集和验证集中都只有一个分类错误。
那么，最终，哪种波频率对于区分草莓和非草莓至关重要呢？
神经网络是一种优先考虑预测性能的方法，由于预测公式很复杂，因此很难直接解释每个解释变量的贡献。
然而，JMP 提供了一个使用随机数模拟来评估影响预测的因素的功能。
从“神经”报告中，查看“预测概况”，然后从预测概况中选择“评估变量重要性”选项。
以下报告总结了变量重要性的评估，并展示了基于“总效应”进行颜色编码的预测概况。从这些结果可以看出，波数 1802.564、899.327 和 1312.346 cm⁻¹ 对预测的贡献最大，依次递减。
*总体影响：当与其他相关因素结合起来时，该影响的总体重要性。
最后，我们利用“汇总报告”中的数据，绘制了一个柱状图，横轴为波数，纵轴为总效应。从图中可以看出，存在多个总效应较大的波数区域。
这些区域对预测结果有很大贡献，表明它们包含区分草莓和非草莓至关重要的光谱信息。
这些结果表明，通过参考总体效应最大的波数区域，可以考虑从化学结构中获得的、有助于分类的信息。
参考文献和数据来源
Holland JK、Kemsley EK、Wilson RH (1998)。《食品与农业科学杂志》，76，263-269。
作者：Naohiro Masukawa（JMP 日本）
Naohiro Masukawa - JMP 用户社区
