快速提醒我们上次离开的地方本系列有关光谱数据的第 1 部分：我们正在分析 Martens 等人的一个流行的光谱数据集。 ”通过扩展乘法信号校正分离光散射和光吸光度。 在粉末混合物近红外透射分析中的应用”分析化学2003 年 2 月 1 日；75(3)：394-404。 一些简单的预处理步骤使我们能够显着提高数据的信噪比。
在这篇文章中，我们使用相同的数据来演示多元平台的实用性联合管理计划。 在谱分析中，多元统计被广泛使用，因为人们反复尝试不同的预处理步骤并评估对数据的影响。 首先，我们专注于无监督学习或探索性数据分析。 然后我们演示如何使用功能数据浏览器（FDE）来构建多元校准模型。 最后，我们介绍了一种更先进的预处理方法——扩展乘性信号校正——并展示了它如何进一步改进我们的多元校准模型。
多元方法
主成分分析
我们演示的第一个探索性方法是主成分分析（PCA）。 有趣的是，当对原始光谱进行 PCA 时，可以在分数图中识别已知子组，而无需任何预处理（图 1）。请记住第 1 部分中的样品是麸质和淀粉的混合物，颜色表示麸质分数。 虽然组之间有很好的分离，但具有相同面筋分数的光谱仍然存在相当大的变化，这将给以后的多变量校准带来问题。 在我们找到最佳的预处理工作流程后，这个错误在本文结束时得到了显着改善。
图1。 PCA 模型的得分和载荷图。 正如预期的那样，负载图表明不同波长之间存在高度相关性。 颜色表示每个样品中存在的麸质分数，从 0（蓝色）到 1（红色）。 特征值表明该数据集中的变化可以用 2 个主成分来解释。
模型驱动的多元控制图
通常，执行某种类型的异常值分析来识别并从模型中删除有影响的异常值。 JMP 在 PCA 平台内提供异常值分析工具。 然而，JMP 15 推出了模型驱动多元控制图 (MDMCC)，它是一种功能更全面的异常值分析工具，可以更深入地调查根本原因分析并比较差异谱。
图 2.模型驱动多元控制图根据以下公式将两个谱（13 和 14）识别为异常值：时间2和 SPE 图。 平均贡献比例图显示了对失控信号贡献最大的波长。
对于此分析中的光谱，MDMCC 根据 PCA 导出的 T 确定两个光谱（13 和 14）作为异常值2和 SPE 图（图 2）。的T 2图表示这些点远离模型平面内的数据，而SPE图表示这些点远离模型平面。 概念化这一点的另一种方法是，这些光谱 1) 远离平均光谱，2) 在 PCA 模型中拟合不佳。 由于这两个条件都满足，因此这些点是潜在有影响力的异常值，这意味着当模型拟合时，它们可能会将 PCA 模型平面拉向它们。 如果这些数据确实是错误的，则 PCA 模型可能会很差。 请注意，除了 13 和 14 之外，还有其他点是 T 中的异常值2图表，但不在 SPE 图表中。 由于这些点远离平均光谱，但仍然符合 PCA 模型，因此它们不太可能是有影响力的异常值。 看一个很好的插图来区分T 2和 SPE 异常值，参见图 4这张纸。
为了更好地理解为什么点 13 和 14 是异常值，我们构建了 T 的平均贡献比例条形图2和 SPE 图（图 3）。这些显示了两个图表中对异常值状态贡献最大的波长。 您还可以将鼠标悬停在各个条上以查看特定波长的单变量控制图。
对于此示例，在图形生成器中绘制光谱有助于更好地了解观察结果为何异常（图 3）。 一个值得注意的异常现象是，这两个光谱在较长波长下具有异常大的吸光度。
如果我们确定这些异常值是可疑的，则可以轻松地重新拟合模型并删除异常值。 为此，请在 MDMCC 报告中打开“自动重新计算”，在 T2 或 SPE 控制图中选择离群值观测值，然后使用右键单击 >> 行 >> 行排除。
图 3. 通过动态链接在 MDMCC 中选择的光谱 13 和 14 的图形生成器视图。 该图显示了与其余数据直接比较时，两个选定的光谱如何被视为异常值。
MDMCC 得分图也可用于比较亚组（图 4）。 A 组是顶部的“红色”子组，B 组是底部的“蓝色”子组。 相对分数贡献图显示两个亚组之间按波长存在显着差异的地方。
图 4. 0% 和 100% 麸质光谱之间的组比较。 条形图中绝对贡献最大的波长显示组间最大差异。
功能数据浏览器
JMP 中的 PCA 平台是一个很好的通用工具，但不是为具有函数形式（如光谱）的数据而设计的。 幸运的是，在JMP专业版，有一个专门针对函数数据设计的工具。 JMP Pro 中的功能数据浏览器 (FDE) 平台可用于对光谱数据进行更深入的研究。 FDE 用于分析某个连续谱上的曲线数据，对于 NIR 光谱，连续谱是波长。 由于所有光谱都是在相同的等间距网格上测量的，因此我们可以拟合直接函数 PCA 模型，该模型无需拟合基函数即可执行函数 PCA（图 5）。 请注意，我们没有从 FDE 模型中排除在上一节（13 和 14）中确定的异常值。 虽然人们可能会选择排除这些异常值，但我们将它们包含在拟合中，因为在后面的部分中，我们将与适合预处理数据的 FDE 模型进行比较，其中这些观测值不再是异常值（见图 14）。
在图 5 中，与功能主成分 (fPC) 对应的特征值显示了每个 fPC 解释了多少变化。 就该数据而言，变化由前两个 fPC 表征，与 PCA 的情况一样。 您还可以看到与 fPC 相关的平均曲线。 如果您的数据精确跟踪均值函数，则所有 fPC 都将为零。 如果 fPC 值为正，则函数的形状与平均值的变化与相应特征函数的形状相似，而负 fPC 则表示相反的效果。 特征函数与光谱数据 PCA 分析中使用的常见图（称为光谱载荷图）相当，其中载荷按波长排序。
图 5. 直接函数 PCA 模型拟合摘要。 两个功能主成分解释了数据中 100% 的变化。
对各个光谱进行拟合，所得得分图如图 6 所示。 功能主成分平台中的一个方便功能是能够将鼠标悬停在得分图中的点上并查看相应光谱的图谱。 这在本例中非常有用，因为分数图将数据组织成相似光谱的子组，然后悬停帮助显示函数形式的差异。 这可用于发现子组之间的差异，而无需依赖任何更复杂的分析。
图 6. FDE 模型拟合的得分图。 可以通过将鼠标悬停在得分图中的点上来探索子组之间的差异，从而揭示光谱的函数形式。
fPC Profiler 可以更轻松地解释各个 fPC 的分数维度（图 7）。 移动其中一个 fPC 滑块显示了在其他 fPC 值固定的情况下沿 fPC 方向之一移动对预测函数的影响。
图 7. 用于 FDE 模型拟合的特征函数 (A) 和 fPC 分析器 (BD)。 fPC 分析器，其中 fPC 设置为其平均值 (B)、fPC2 设置为其最小值 (C)、fPC2 设置为其最大值 (D)。 当fPC2值为正时，光谱的形状与平均值的变化与相应特征函数的形状相似，而负fPC表示相反的效果。
实验功能设计（多变量校准）
由于这些数据来自设计的实验，因此功能 DOE 分析是相关的（图 8）。 FDOE Profiler 可以预测实验数据中未观察到的淀粉和麸质组分的光谱函数形式。 在光谱分析中，这称为多元校准模型。 由于淀粉和麸质的混合比例之和为 1，因此我们在 Profiler 中应用混合约束。
通常需要建立该模型的逆模型，其中实验因素（在本例中为成分比例）被预测为光谱的函数。 令人困惑的是，这也称为多元校准。 为了清楚起见，我们采用 Brereton 的术语并将其称为逆多元校准。 为了拟合这些类型的模型，可以输出功能主成分并将其提供给 JMP 中的任何预测建模平台。 这使得人们能够将灵活的模型（例如神经网络）适应函数摘要。 这些模型可能能够比 PLS 更好地对非线性和依赖性进行建模。 我们将在下一篇文章中说明这种方法。
图 8. 功能性 DOE 分析器。 对淀粉和麸质应用线性约束，使它们之和为 1。 光谱是根据原始数据中未观察到的实验因素组合进行预测的。
层次聚类
层次聚类是谱分析中流行的另一种无监督机器学习工具。 层次聚类的目标是识别数据中的子组，其中簇内差异较小，簇间差异较大。 在前面的部分中，我们确定了子组，但是以主观的方式进行的。 层次聚类为定义这些子组提供了客观标准。
聚类树状图显示了从尖端（每个光谱都在其自己的聚类中）到根（其中所有光谱都在一个聚类中）的聚类层次结构。 树状图显示了聚类算法如何迭代合并聚类。 内部分支的长度与簇之间的差异成正比，其中簇之间的差异根据链接标准来定义。
JMP 中的层次聚类是一个丰富的平台，具有许多对谱分析有用的功能，但我们没有时间在此介绍。 我们在随附的日志中提供了报告，以便您可以自己发现这些功能。 一些值得检查的功能包括交互式选择聚类数量、聚类分配的输出、在树状图中选择和突出显示聚类的能力以及为聚类启动并行图的能力。 还值得注意的是，层次聚类对于大 n 和大 p 问题具有出色的性能。
图 9. 原始光谱（左）和根据本系列第 1 部分预处理的光谱（右）的层次聚类。 原始数据显示各个光谱的聚类更加分散，导致子分组效果较差，而预处理数据显示了定义更好的子分组。 如果需要，可以保存各个簇名称并将其用作建模过程的输入。
高级预处理
扩展多元信号校正
本节介绍一种有用的诊断图（称为散点效应图）和一种强大的预处理方法（称为扩展乘性散点校正 (EMSC)）。 在 JMP 中创建散点效应图非常简单，随附的日志中提供了一个示例。 EMSC 需要一些 JSL 知识才能重现。 我们介绍 EMSC 是因为它非常适合这些数据，并且拟合模型平台是教授该方法的有用教学工具。 此外，我们打算在 JMP 的未来版本中提供许多预处理方法，例如 FDE 平台中的 EMSC，敬请期待。
图 10 显示了散点效应图，这在选择预处理方法时非常有用。 这些图中的模式表明不同的噪声源，您可以使用此信息来选择适合您的数据的预处理方法。 在散点效应图中，y 截距的变化表示恒定的基线变化或加性效应。 预处理方法如1英石导数 Savitzky Golay (SG) 滤波器——我们在上一篇博客文章中介绍过——消除了这些影响。 当光谱仅在某些波长处有较大变化时，就会发生乘性散射效应。 这些在散点效应图中显示为斜率的变化或“扇形”。 一些可以消除乘性效应的预处理方法是乘性散点校正 (MSC) 和标准正态变量。 我们在上一篇文章中展示了标准正态变量。 在这篇文章中，我们介绍 MSC。 化学效应在这些图中也显示为独特的模式。 有趣的是，这些显示为循环！
图 10. 原始光谱 (A) 和 1 的散点效应图英石导出 SG 过滤后的数据 (B)。 SG 滤波器消除加性效应后，乘性效应仍然存在。 对于这些数据，需要一种消除乘性效应的预处理方法。
原始数据的散点效应图强烈表明存在累加效应（图 10A）。 也可能存在乘法效应，但很难说，因为加法效应占主导地位。 因此，我们首先通过应用 1 来消除加性效应英石正如我们在上一篇文章中所做的那样，对数据进行 SG 过滤。 在上一篇文章中，我们在图形生成器中绘制了预处理的光谱，并表明乘法效应仍然存在。 乘法效应在散点效应图中也很明显 - 请注意相当大的扇形（图 10B）。 因此，数据中同时存在加性效应和乘性效应。 EMSC 可以一步消除这两种噪声源。
在他们的原始论文中，Martens 等人。介绍了 EMSC，并展示了该方法如何改进更简单的预处理方法，例如我们之前文章中所示的方法。 我们正在构建 EMSC，但最简单的方法是首先从乘性散射校正 (MSC) 开始。 MSC 旨在通过使数据看起来更像参考频谱来纠正数据中的各种噪声源。 由于通常没有好的标准可用，因此经常使用平均频谱。 对于每个频谱，执行单独的回归。 让X = {x 1 ， …， X p } 是给定光谱的吸光度向量，并且X * = {x * 1 ， …， X * p } 参考光谱。 模型是
并将频谱校正如下：
MSC 的一个问题是它没有考虑散射效应和波长之间存在的关系。 EMSC 通过将多项式关系合并到模型中来解决这个问题。 通常，假设波长存在二次关系。 MSC 的另一个问题是，通过在平均光谱上回归每个光谱，可以消除感兴趣的真实化学效应。 如果已知样品是少量化学成分的混合物，并且每种成分都有纯参考光谱，则可以通过将先前的化学成分信息纳入模型来进一步扩展 EMSC。 Marten等人的数据中，有纯麸质（ X G ）和纯淀粉（ X s ) 数据中的样本。 正如 Marten 等人所言。论文中，我们选择样品 1 和样品 93 作为参考光谱。 EMSC模型将根据估计的化学成分修改参考光谱，从而更好地保留数据中的真实化学信号。
米=（ X G + X s ）/2和k =（ X G - X s ） 和我= {l 1 , …, 我p } 是波长向量。这米和k模型项以这种方式表示以简化校正方程。 校正后的光谱计算如下：
要在 JMP 中执行 EMCC，我们首先需要为X G和X s参考光谱。 我们通过对数据表进行子集化来创建参考光谱表，然后将参考表连接回原始表来实现此目的。 我们通过以下步骤来做到这一点：
- 使用“行”>>“行选择”>>“选择位置”来选择与参考光谱之一对应的所有行。
- 使用 Subset 创建仅包含参考光谱的表。
- 使用波长作为匹配列，将表连接回原始表。
接下来，我们创建k和米列，这可以使用对X G和X s列。 然后我们准备估计 EMSC 模型。 这可以使用图 11 中所示的选项在拟合模型中完成。 为了执行 EMSC 校正，我们需要提取模型项系数并将其保存到数据表中的列中。 为此，我们需要使用 jsl 脚本，但该脚本相当简单。 最后，我们使用图12所示的公式进行EMSC校正。
图 11. 适合 EMSC 模型的模型启动对话。
图 12. EMSC 校正的列公式。
最终结果如图 13 所示。 光谱明显不受散射效应的影响，并且更准确地表示了真实的基础光谱。
图 13. 本博客中应用的预处理步骤之前和之后的光谱。 （上）预处理前，（下）EMSC 校正后。
最终多元校准模型
现在，光谱已准备好用于 FDE 中的最终多变量校准模型。 我们使用 FDE 部分中描述的方法执行功能 DOE。 由此产生的模型使我们能够准确预测给定混合比例组合的光谱形式。 图 14 显示了此类预测的示例。
图 14. EMSC 的功能 DOE 校正了预处理前后的光谱。 对淀粉和麸质应用线性约束，使它们之和为 1。 请注意预处理后光谱形状的巨大变化。 由于散射效应已从光谱中消除，因此我们可以对数据中未观察到的因子组合的预测光谱形状进行更准确的估计。
结论和未来的帖子
我们在 JMP 中演示了多个多变量平台，它们对于识别光谱数据中的模式非常有用。 我们重点关注谱分析中常见的子组分析和异常值分析。 当我们演示了众多可用的探索性工具时，FDE 在分析光谱数据方面的实用性得到了充分展示。 重要的是，实验的功能设计允许人们轻松构建多变量校准模型。 我们演示了如何使用 JMP 中的拟合模型平台构建扩展的乘性信号校正 (EMSC) 模型，该模型可显着消除数据中的噪声。 通过在 Fit Model 中从头开始构建 EMCC 模型，我们获得了对模型构建过程的更多控制和更深入的了解。
在下一篇文章中，我们将介绍有监督的多元模型。 我们采用 Brereton 的术语并将其称为逆多元校准模型。 这些将预测作为光谱函数的实验因素。 我们将在偏最小二乘和广义回归平台中构建模型。 我们还将展示如何从 FDE 输出功能主成分并提供给 JMP 中的任何预测模型，从而能够构建更复杂的校准模型
