快速提醒我们离开的地方本系列关于光谱数据的第 1 部分：我们正在分析 Martens 等人的流行光谱数据集。 "通过扩展的乘法信号校正分离光散射和光吸收。 在粉末混合物的近红外透射分析中的应用"分析化学2003 年 2 月 1 日；75(3):394-404。 几个简单的预处理步骤使我们能够显着提高数据中的信噪比。
在这篇文章中，我们使用相同的数据来展示多变量平台在JMP . 在光谱分析中，多元统计被广泛使用，因为它迭代地尝试不同的预处理步骤并评估对数据的影响。 首先，我们专注于无监督学习或探索性数据分析。 然后我们演示了如何使用功能数据浏览器 (FDE) 来构建多变量校准模型。 最后，我们介绍了一种更先进的预处理方法——扩展的乘法信号校正——并展示了它如何进一步改进我们的多元校准模型。
多元方法
主成分分析
我们展示的第一个探索性方法是主成分分析 (PCA)。 有趣的是，当对原始光谱执行 PCA 时，可以在分数图中识别已知的子组，而无需任何预处理（图 1）。请记住第 1 部分中的样品是面筋和淀粉的混合物，颜色表示面筋部分。 虽然组之间有很好的分离，但相同面筋分数的光谱仍然存在相当大的变化，这会给以后的多变量校准带来问题。 在我们找到最佳的预处理工作流程后，到本文结束时，此错误已大大改善。
图1。 PCA 模型的得分和加载图。 正如预期的那样，加载图表明跨波长的高度相关性。 颜色表示每个样品中存在的面筋分数，从 0（蓝色）到 1（红色）。 特征值表明该数据集中的变化可以用 2 个主成分来解释。
模型驱动的多元控制图
通常，会执行某种类型的异常值分析来识别和删除模型中的有影响的异常值。 JMP 在 PCA 平台内提供异常值分析工具。 然而，随着 JMP 15 的出现，模型驱动的多元控制图 (MDMCC) 是一种功能更全面的异常值分析工具，可以更深入地调查根本原因分析并比较光谱的差异。
图 2。模型驱动的多元控制图根据吨2和 SPE 图表. 平均贡献比例图显示了对失控信号贡献最大的波长。
对于此分析中的光谱，MDMCC 将两个光谱（13 和 14）识别为基于其 PCA 导出的 T 的异常值2和 SPE 图表（图 2）。T 2图表表明这些点远离模型平面内的数据，而 SPE 图表表明这些点远离模型平面。 另一种概念化的方法是这些光谱 1) 远离平均光谱和 2) PCA 模型的拟合不佳。 由于这两个条件都满足，这些点可能是有影响的异常值，这意味着当模型拟合时它们可能会将 PCA 模型平面拉向它们。 如果这些确实是错误的数据，则可能存在较差的 PCA 模型。 请注意，除了 13 和 14 之外，还有其他点是 T 中的异常值2图表，但不在 SPE 图表中。 由于这些点远离平均光谱，但仍符合 PCA 模型，因此它们不太可能成为有影响力的异常值。 看一个区分T的好插图2和 SPE 异常值，参见图 4这张纸.
为了更好地理解为什么点 13 和 14 是异常值，我们构建了 T 的平均贡献比例条形图2和 SPE 图表（图 3）。这些显示了在两个图表中对异常值状态贡献最大的波长。 您还可以将鼠标悬停在各个条形上以查看特定波长的单变量控制图。
对于此示例，在 Graph Builder 中绘制光谱有助于更好地了解为什么观察值是异常值（图 3）。 一个明显的异常是这两个光谱在较长波长处具有异常大的吸光度。
如果我们确定这些异常值是可疑的，则很容易在移除异常值的情况下重新拟合模型。 为此，请在 MDMCC 报告中打开 Automatic Recalc，在 T2 或 SPE 控制图中选择异常值观察值，然后使用右键单击 >> Rows >> Row Exclude。
图 3。 通过动态链接在 MDMCC 中选择的光谱 13 和 14 的图形生成器视图。 该图显示了当直接与其余数据进行比较时，两个选定的光谱如何被视为异常值。
MDMCC 的得分图也可用于比较子组（图 4）。 A 组是顶部的“红色”子组，B 组是底部的“蓝色”子组。 相对分数贡献图显示了两个子组之间按波长划分的显着差异。
图 4。 具有 0% 和 100% 面筋的光谱之间的组比较。 条形图中绝对贡献最大的波长显示组间差异最大。
功能数据浏览器
JMP 中的 PCA 平台是一个很好的通用工具，但不是为具有像光谱这样的函数形式的数据而设计的。 幸运的是，在JMP 专业版，有一个专门为功能数据设计的工具。 JMP Pro 中的功能数据浏览器 (FDE) 平台可用于更深入地研究光谱数据。 FDE 用于分析某些连续谱上的曲线数据，对于 NIR 光谱，连续谱是波长。 因为所有光谱都是在相同的等间距网格上测量的，所以我们可以拟合直接功能 PCA 模型，该模型执行功能 PCA 而不拟合基函数（图 5）。 请注意，我们没有从 FDE 模型中排除我们在上一节（13 和 14）中确定的异常值。 虽然人们可能会选择排除这些异常值，但我们将它们包括在拟合中，因为在后面的部分中，我们将与 FDE 模型进行比较，该模型适用于这些观察结果不再是异常值的预处理数据（参见图 14）。
在图 5 中，对应于功能主成分 (fPC) 的特征值显示了每个 fPC 解释了多少变化。 在此数据的情况下，变化的特征在于前两个 fPC，就像 PCA 的情况一样。 您还可以看到与 fPC 相关的平均曲线。 如果您的数据准确跟踪均值函数，则所有 fPC 都将为零。 如果 fPC 值为正，则函数的形状不同于均值，形状类似于相应的特征函数，而负 fPC 表示相反的效果。 本征函数与用于光谱数据的 PCA 分析中的常见图相当，称为光谱载荷图，其中载荷按波长排序。
图 5。 直接功能 PCA 模型拟合摘要。 两个功能主成分解释了数据中 100% 的变化。
单独的光谱是拟合的，得到的分数图如图 6 所示。 功能主成分平台的一个方便功能是能够将鼠标悬停在分数图中的点上并查看相应光谱的小图。 这在本示例中非常有用，因为分数图将数据组织成相似光谱的子组，然后悬停帮助显示功能形式的差异。 这可用于发现子组之间的差异，而无需依赖任何更复杂的分析。
图 6。 FDE 模型拟合的得分图。 可以通过将鼠标悬停在分数图中的点上来探索子组之间的差异，从而揭示光谱的功能形式。
fPC Profiler 可以更轻松地解释各个 fPC 的分数维度（图 7）。 移动 fPC 滑块之一显示沿 fPC 方向之一移动对预测函数的影响，而其他 fPC 值固定。
图 7。 FDE 模型拟合的特征函数 (A) 和 fPC Profiler (BD)。 fPC 分析器，fPC 设置为其平均值 (B)，fPC2 设置为其最小值 (C)，fPC2 设置为其最大值 (D)。 当 fPC2 值为正时，光谱的形状与平均值不同，形状类似于相应的特征函数，而负 fPC 表示相反的效果。
实验的功能设计（多变量校准）
由于这些数据来自设计的实验，因此功能 DOE 分析是相关的（图 8）。 FDOE Profiler 可以预测实验数据中未观察到的淀粉和面筋部分的光谱功能形式。 在光谱分析中，这称为多元校准模型。 由于淀粉和面筋的混合比例总和为 1，因此我们在 Profiler 中应用了混合约束。
通常需要建立这个模型的逆模型，其中实验因素（在这种情况下是组成比例）被预测为光谱的函数。 令人困惑的是，这也称为多变量校准。 为清楚起见，我们采用 Brereton 的术语并将其称为逆多元校准。 为了拟合这些类型的模型，可以输出功能主成分并将它们提供给 JMP 中的任何预测建模平台。 这使人们能够将灵活的模型（例如神经网络）拟合到函数摘要中。 这些模型可能能够比 PLS 更好地模拟非线性和依赖关系。 我们将在下一篇文章中说明这种方法。
图 8。 功能性 DOE 分析器。 对淀粉和面筋应用了线性约束，因此它们的总和为 1。 在原始数据中未观察到的实验因素组合中预测光谱。
层次聚类
层次聚类是另一种在频谱分析中流行的无监督机器学习工具。 层次聚类的目标是识别数据中的子组，其中集群内的差异很小，而集群之间的差异很大。 在前面的部分中，我们确定了亚组，但是以主观方式进行的。 层次聚类为定义这些子组提供了客观标准。
簇树状图显示了从尖端（每个光谱都在其自己的簇中）到根（其中所有光谱都在一个簇中）的聚类层次结构。 树状图显示了聚类算法如何迭代地合并聚类。 内部分支的长度与集群之间的差异成正比，其中集群之间的差异是根据链接标准定义的。
JMP 中的层次聚类是一个丰富的平台，具有许多对频谱分析有用的功能，我们没有时间在此介绍。 我们在随附的期刊中提供报告，以便您自己发现这些功能。 一些值得一试的功能是集群数量的交互式选择、集群分配的输出、在树状图中选择和突出显示集群的能力，以及为集群启动并行绘图的能力。 还值得注意的是，层次聚类对于大 n 和大 p 问题具有出色的性能。
图 9。 原始光谱（左）和根据本系列第 1 部分（右）预处理的光谱的层次聚类。 原始数据显示单个光谱更加分散的聚类导致不良子分组，而预处理数据显示更好定义的子分组。 如果需要，可以保存单个集群名称并将其用作建模过程的输入。
高级预处理
扩展的多元信号校正
本节介绍了一个有用的诊断图，称为散射效应图和一种强大的预处理方法，称为扩展乘法散射校正 (EMSC)。 散点图在 JMP 中很容易创建，附加期刊中提供了一个示例。 EMSC 需要一些 JSL 知识才能重现。 我们展示 EMSC 是因为它适用于这些数据，而拟合模型平台是教授该方法的有用的教学工具。 此外，我们打算在 JMP 的未来版本中提供许多预处理方法，如 FDE 平台中的 EMSC，敬请期待。
图 10 显示了散点图，这在选择预处理方法时很有用。 这些图中的模式指示不同的噪声源，您可以使用此信息来选择适合您的数据的预处理方法。 在散点效应图中，y 截距的变化表示恒定的基线变化或附加效应。 一种预处理方法，如 1英石衍生 Savitzky Golay (SG) 过滤器——我们在上一篇博文中介绍过——消除了这些影响。 当光谱仅在某些波长上有很大变化时，就会发生乘法散射效应。 这些在散点效应图中显示为斜率或“扇形”的变化。 一些可以消除乘法效应的预处理方法是乘法散射校正 (MSC) 和标准正态变量。 我们在上一篇文章中展示了标准正态变量。 在这篇文章中，我们介绍了 MSC。 在这些图中，化学效应也显示为一种独特的模式。 有趣的是，这些显示为循环！
图 10。 原始光谱 (A) 和 1 的散射效应图英石派生 SG 过滤数据 (B)。 在 SG 过滤器去除加法效应后，乘法效应仍然存在。 这些数据需要一种消除乘法效应的预处理方法。
原始数据的散点效应图强烈表明存在加性效应（图 10A）。 也可能有乘法效应，但很难说，因为加法效应占主导地位。 因此，我们首先通过应用 1 来消除加性效应英石就像我们在上一篇文章中所做的那样，对数据派生 SG 过滤器。 在上一篇文章中，我们在 Graph Builder 中绘制了预处理光谱，并显示乘法效应仍然存在。 乘法效应在散点效应图中也很明显——注意相当大的扇形（图 10B）。 因此，数据中既有加法效应，也有乘法效应。 EMSC 可以一步消除两种噪声源。
在他们的原始论文中，马滕斯等人。介绍了 EMSC，并展示了这种方法如何改进更简单的预处理方法，例如我们之前的帖子中所示的方法。 我们正在建立 EMSC，但最简单的方法是首先从乘法散射校正 (MSC) 开始。 MSC 旨在通过使数据看起来更像参考频谱来纠正数据中的各种噪声源。 由于通常没有可用的良好标准，因此经常使用平均光谱。 对于每个光谱，执行单独的回归。 让X = {x 1 ， …， X p } 是给定光谱的吸光度向量，并且X * = {x * 1 ， …， X * p } 参考光谱。 模型是
光谱校正如下：
MSC 的一个问题是它没有考虑散射效应和波长之间存在的关系。 EMSC 通过将多项式关系合并到模型中来解决这个问题。 通常，假定波长为二次关系。 MSC 的另一个问题是，通过在平均光谱上回归每个光谱，可以消除感兴趣的真实化学效应。 如果已知样品是少量化学成分的混合物——并且每种成分都有纯参考光谱——则可以通过将先前的化学成分信息合并到模型中来进一步扩展 EMSC。 在 Marten 等人的数据中，有纯面筋（ X G ) 和纯淀粉 ( X s ) 数据中的样本。 就像在 Marten 等人中一样。论文中，我们选择样品 1 和样品 93 作为参考光谱。 EMSC 模型将根据估计的化学成分修改参考光谱，从而更好地保留数据中的真实化学信号。
米= ( X G + X s ）/2和ķ = ( X G - X s ） 和l = {l 1 , …, 我p } 是波长的向量。这米和ķ以这种方式表示模型项以简化校正方程。 校正后的光谱计算如下：
要在 JMP 中执行 EMSC，我们首先需要为X G和X s参考光谱。 我们通过子集数据表来创建参考光谱表，然后将参考表连接回原始表。 我们通过以下步骤做到这一点：
- 使用 Rows >> Row Selection >> Select Where 选择与参考光谱之一相对应的所有行。
- 使用子集创建仅包含参考光谱的表。
- 将表连接回原始表，使用波长作为匹配列。
接下来，我们创建ķ和米列，这可以使用对X G和X s列。 然后我们准备估计 EMSC 模型。 这可以使用图 11 中所示的选项在拟合模型中完成。 为了执行 EMSC 校正，我们需要提取模型项系数并将它们保存到数据表的列中。 为此，我们需要使用 jsl 脚本，但该脚本相当简单。 最后，我们使用图 12 所示的公式执行 EMSC 校正。
图 11。 EMSC 模型的拟合模型启动对话框。
图 12。 EMSC 校正的列公式。
最终结果如图 13 所示。 光谱明显没有散射效应，并且更准确地表示了真实的底层光谱。
图 13。 在本博客中应用的预处理步骤之前和之后的光谱。 （上）预处理前，（下）EMSC 校正后。
最终多元校准模型
光谱现在已经为我们在 FDE 中的最终多元校准模型做好了准备。 我们使用 FDE 部分中描述的方法执行功能 DOE。 由此产生的模型使我们能够准确地预测给定混合比例组合的光谱形式。 图 14 显示了此类预测的一个示例。
图 14。 预处理前后 EMSC 校正光谱的功能 DOE。 对淀粉和面筋应用了线性约束，因此它们的总和为 1。 注意预处理后光谱形状的巨大变化。 由于已经从光谱中消除了散射效应，我们可以在数据中未观察到的因子组合处获得预测光谱形状的更准确估计。
结论和未来的帖子
我们在 JMP 中演示了几个多变量平台，这些平台可用于识别光谱数据中的模式。 我们专注于光谱分析中常见的亚组分析和异常值分析。 当我们展示了众多可用的探索性工具时，FDE 用于分析光谱数据的实用性得到了充分展示。 重要的是，实验的功能设计允许人们轻松构建多变量校准模型。 我们演示了如何使用 JMP 中的拟合模型平台来构建扩展的乘法信号校正 (EMSC) 模型，从而显着清除数据中的噪声。 通过在 Fit Model 中从头开始构建 EMSC 模型，我们可以更好地控制和更深入地了解模型构建过程。
在下一篇文章中，我们将介绍有监督的多元模型。 我们采用 Brereton 的术语并将其称为逆多元校准模型。 这些将预测实验因素作为光谱的函数。 我们将在偏最小二乘和广义回归平台中构建模型。 我们还将展示如何从 FDE 输出功能主成分并提供给 JMP 中的任何预测模型，从而构建更复杂的校准模型
