在我们之前的两篇博文中，Jeremy Ash ( @JeremyAshJMP ) 我展示了JMP通过分析来自 Martens 等人的流行光谱数据集的光谱分析和可视化功能。 1我们展示了可视化光谱数据的不同方法和几个预处理步骤这使我们能够显着提高数据中的信噪比，以便进一步分析和建模。
在博客系列的第三部分中，我们展示了在 JMP 中对光谱数据进行建模的几种方法。偏最小二乘法 (PLS) 是分析光谱数据最常用的工具，PLS 可以通过 JMP 和JMP 专业版. JMP Pro 还提供 Elastic Net 惩罚回归、神经网络建模和 Bootstrap Forest 等高级决策树方法。
Bootstrap Forest 和 Elastic Net 技术可以快速轻松地找到单个化合物的最重要波长以及定义混合物中成分的波长。 这些建模技术可用于原始数据或处理过的数据。 在这篇文章中，Jeremy 和我展示了对原始数据和预处理数据建模之间的差异，以展示预处理后预测能力的整体改进。 作为对方法整体比较的明确声明，使用相同的两级验证列，其中 20% 的数据作为所有分析的验证集。
建模方法
偏最小二乘法
偏最小二乘法是分析光谱的标准方法。 PLS 可以处理宽数据和高数据，尤其擅长处理高度相关的因素。 这种能力对光谱来说是个好兆头，因为光谱数据通常具有高度相关的吸光度，这导致每个连续波长都依赖于紧接在其之前的一个波长。 由于这种依赖性，PLS 常用于分析原始光谱数据，结果非常好。 如上所述，预处理改进了生成的预测模型，足以保证投入时间和精力来预处理数据。 请记住，样本数据是一组面筋和淀粉的混合物，在 PLS 的情况下，它确实很好地开发了一个模型，该模型可以很好地预测任何未来样本的面筋和淀粉比率。
PLS 模型是用两个潜在因素构建的，因为之前的主成分分析使用了两个主成分。 还有，Q 2超过两个因素并没有太大改善，并且添加更多因素会使模型解释更加困难。
图1。 偏最小二乘模型的建立和输出。
图1。 偏最小二乘模型的建立和输出。
图 2。 带有原始数据的偏最小二乘模型。
图 3。 具有预处理数据的偏最小二乘模型。
下面是两个 PLS 模型的实际预测图的比较。 左边是原始数据，右边是使用预处理数据。 如您所见，使用预处理数据的模型有显着改进。
图 4。 偏最小二乘模型与原始数据和预处理数据的比较。
广义回归 (Gen Reg)
广义回归技术见于JMP 专业版. Gen Reg 为您提供了至少两件您不会从普通最小二乘法中得到的东西。 一是使用 Gen Reg，您的数据不必呈正态分布。 您可以选择许多不同类型的分布。 另一个区别是 Gen Reg 包含了惩罚回归技术，它可以很好地处理高度相关的数据。 Gen Reg 提供 Ridge、Lasso 和 Elastic Net。 Elastic Net 是对光谱数据建模的一个很好的折衷方案，因为您可以通过拒绝对模型很重要的许多高度相关的因素来调整 Elastic Net Alpha (ENA) 惩罚，以防止模型欠拟合。 默认值 0.99 ENA 用于构建初始模型。 这个模型似乎相当稀疏并且可能欠拟合。 Gen Reg 中的一个高级选项用于扫描 alpha 值的范围，以查看是否有更好的模型。 该扫描使用 0.55 的 ENA 值提供了更好的拟合。 您可以在下面的解决方案路径中看到两个 ENA 值的拟合差异。
图 5 – 原始数据的 Elastic Net 解决方案路径。
图 6 - Gen Reg 与原始数据的拟合统计。
图 7 - 预处理数据的弹性网络解决方案路径。
图 8 - 使用预处理数据拟合 Gen Reg 的统计数据。
无需详细说明，当 Elastic Net Alpha (ENA) 为 0.99 时，原始数据的拟合使用了 10 个波长，而 ENA 为 0.55 时使用了 37 个波长。
预处理数据具有显着不同的结果。 再次使用 Elastic Net，使用 0.99 的 ENA 发现了 22 个重要波长，使用 0.55 的 ENA 发现了 53 个重要波长。 虽然 ENA 为 0.55 的重要波长有 37 个和 53 个，但两个结果都大大低于 PLS 模型。 检查两组模型的拟合统计显示预处理数据具有更好的整体预测模型。 但是，如果您只使用原始数据，您仍然能够提出一个相当好的预测模型。
图 9 – Gen Reg 与原始数据和预处理数据的模型比较。
使用处理过的数据比较 PLS 和 ELN 模型表明 ELN 模型仅基于 R 略好2 .然而，ELN 模型更简单，更容易解释。
图 10 – 处理数据的 PLS 和 ELN 建模技术的比较。
这是否意味着您应该使用 Elastic Net 模型进行所有频谱分析？ 您应该将其视为可行的候选者，但这实际上取决于您有哪些可用的建模平台，以及除了预测性能之外，模型可解释性是否是可取的。
更多建模选项
神经网络模型
出于演示目的，您还可以使用神经网络模型，在这种情况下，它显示出非常好的拟合，但模型非常复杂。
但是，JMP 中的预测刻画器使用户能够解释最复杂的非线性模型。 当所有波长都用于预测时，Profiler 可能会变得不堪重负。 为了使神经网络模型更简单，您可以在模型对话框中提供使用 Gen Reg 选择的波长。
图 11 - 原始数据和预处理数据的神经网络拟合比较。
在这两种情况下，数据都适合一个隐藏层和三个具有双曲正切激活函数的节点，使用固定的 20% 验证列进行交叉验证。
引导森林
使用 Bootstrap Forest 方法可以为给定的一组光谱提供最重要的波长。 这也清楚地表明预处理提供了更好的模型。 差异基于验证 R 2对于每个数据集。 验证 R 2原始数据为 0.805，处理后的数据为 Validation R 2为 0.987。 下面的模型使用固定的 20% 的数据作为验证集进行拟合，以避免随机选择验证集。
图 12 – Bootstrap Forest 拟合原始数据和预处理数据的比较。
支持向量回归
JMP Pro 中还提供支持向量回归 (SVR) 建模，它是分析光谱数据的另一个不错的选择。 SVR 是一种强大且灵活的基于边界的机器学习算法，用于构建预测模型以实现连续响应。 对于我们的数据集，SVR 在分析处理后的数据时也显示出显着的改进。
图 13 - SVR 模型拟合原始数据和预处理数据的比较。
JMP 和 JMP Pro 中有更多建模技术可用于对光谱数据进行建模，因此，如果您没有看到想要使用或曾经使用过的建模技术，请告诉我们，我们将确保在未来的博客文章。
1）“通过扩展的乘法信号校正分离光散射和光吸收。 在粉末混合物的近红外透射分析中的应用"分析化学2003 年 2 月 1 日；75(3):394-404
