光谱数据的化学计量分析
概述
本案例研究将展示使用 JMP 和 JMP Pro 平台分析光谱数据的分析工作流程。使用光谱分析技术来表征原材料、中间体和成品在所有化学领域都很普遍。从大学化学实验室到研究与创新实验室,以及生产环境。 光谱分析几乎无处不在。光谱分析最难的部分不是光谱的收集,而是光谱附带的数据分析。在过去几年中,JMP 一直致力于开发内置的多变量光谱分析技术,也称为化学计量分析。
化学计量学的维基定义:
“化学计量学是通过数据驱动的方式从化学系统中提取信息的科学。 化学计量学本质上是跨学科的,使用核心数据分析学科中常用的方法,例如多元统计,应用数学, 和计算机科学, 为了解决问题化学,生物化学,药物,生物学和化学工程.
化学计量学用于解决实验自然科学中的描述性和预测性问题,特别是在化学中。 在描述性应用中,化学系统的属性被建模,目的是了解系统的潜在关系和结构(即模型理解和识别)。 在预测应用中,化学系统的属性被建模以预测新的属性或感兴趣的行为。 在这两种情况下,数据集可能很小,但通常非常大且高度复杂,涉及数百到数千个变量,以及数百到数千个案例或观察结果。”
用于分析光谱数据的 JMP 分析工作流程
- 将光谱数据导入 JMP 是第一个挑战。有一个用于拉入 *.csv 和 *.jdx 文件的插件。.jdx 文件必须为标准格式且未压缩。也可以使用多个文件导入,但需要初始设置。
- 可以以堆叠格式和宽格式分析光谱数据。在第一次查看数据和进行一些初始预处理时,使用 Graph Builder 的堆叠格式(按行)。Graph Builder 中的并行图适用于宽格式数据。
- 使用平行图时,将波长数据拖动到 x 轴,然后单击鼠标右键,将鼠标悬停在“组合比例”上,然后使用“平行合并”来了解基线偏移的差异。
- 可能需要对数据进行预处理。
- 第一步是使用堆叠波长数据计算标准正态变量 (SNV)。SNV 可以在加载项中找到。
- 另一个预处理选项是使用 Savitzy-Golay 平滑器/导数滤波器。您可以采用一阶或二阶导数。一阶导数清除加法变化,二阶导数清除加法和乘法数据。取导数会改变数据的结构,并且会使解释变得更加困难。
- 有时您需要同时进行 Savitzy-Golay 和 SNV。先做 Savitzy-Golay,然后做 SNV。*很快您将能够在 JMP Pro 17 的 FDE 平台内进行所有预处理。
- 包括 MDMVCC、PCA、多维缩放和聚类在内的许多多元技术的使用可以而且应该用于显示多重共线性和子分组。
- 在常规 JMP 中建模:
- 常规 JMP 中的逐步回归已被证明可以很好地处理近红外数据,并且是查找重要波长(变量)的好方法
- 决策树运行良好,但请注意,手动进行拆分可能比让 JMP 进行所有拆分更好。
- 您可以使用保存的主成分在“拟合模型”平台中进行主成分回归。以这种方式确定最重要的波长更加困难,但可以使用预测刻画器评估变量重要性。
- 偏最小二乘法 (PLS) 是所有化学计量建模工具中最多产的。PLS 旨在处理与光谱和色谱数据相关的高度相关且通常非常广泛的数据集。PLS 可用于变量选择,以确定哪些变量可通过 PLS 归因于整体最佳拟合。也就是说,如果数据通过预处理得到很好的调节,那么通常不需要使用 PLS 进行变量选择,除非您正在查看组件成分的混合物。
- 移至 JMP Pro 进行建模:
- 偏最小二乘法 (PLS) – 见上文, PLS 也可用于常规 JMP .
- 广义回归 (Gen Reg) – 惩罚回归模型适用于变量选择,因为每个光谱/色谱图可能有数百甚至数千列 Elastic Net 可以很好地确定最重要的变量(波长/峰值)。还建议扫描 Elastic Net Alpha 可能性的范围,以避免遗漏重要变量。例如,默认的 Elastic Net Alpha 为 0.99。如果您使用默认值,您可能会得到一个好的模型,但您也很可能会错过一些非常重要的变量,这些变量将提高您的预测能力。如果您没有时间扫描 Elastic Net Alpha 的范围,您可以选择中间范围 (0.56) 中的某个值,看看是否给出了合理的模型。
- 功能数据浏览器 (FDE) – FDE 不一定是一个预测建模平台,因为它可以用来分析连续体上的数据并确定哪些功能主成分以及多少个功能主成分与一组曲线的形状相关。使用补充变量的功能 DOE 使 FDE 变得如此强大,您可以使用 FDOE 进行反向校准。
- 神经网络、Bootstrap 森林、支持向量机、XG Boost 都可以用于分析化学计量数据。借助 JMP Pro,您可以使用模型筛选来确定最适合您数据的建模平台。