光谱数据的化学计量分析
概述
本案例研究将演示使用 JMP 和 JMP Pro 平台分析光谱数据的分析工作流程。使用光谱分析技术来表征原材料、中间体和成品在整个化学领域中广泛存在。从大学化学实验室到研究与创新实验室,以及生产环境。 光谱分析几乎无处不在。光谱分析最难的部分不是光谱的收集,而是光谱附带的数据的分析。在过去的几年中,JMP 一直致力于内置多元光谱分析技术(也称为化学计量分析)。
化学计量学的维基定义:
“化学计量学是通过数据驱动的方式从化学系统中提取信息的科学。 化学计量学本质上是跨学科的,使用核心数据分析学科中常用的方法,例如多元统计,应用数学, 和计算机科学,为了解决问题化学,生物化学,药品,生物学和化学工程。
化学计量学用于解决实验自然科学,特别是化学中的描述性和预测性问题。 在描述性应用中,对化学系统的属性进行建模,目的是学习系统的潜在关系和结构(即模型理解和识别)。 在预测应用中,对化学系统的属性进行建模,目的是预测新的属性或感兴趣的行为。 在这两种情况下,数据集可能很小,但通常非常大且高度复杂,涉及数百到数千个变量以及数百到数千个案例或观察结果。”
用于分析光谱数据的 JMP 分析工作流程
- 将光谱数据输入 JMP 是第一个挑战。有一个用于拉入 *.csv 和 *.jdx 文件的插件。.jdx 文件必须采用标准格式且未压缩。或者可以使用多个文件导入,但需要初始设置。
- 光谱数据可以以堆叠格式和宽格式进行分析。首次查看数据和进行一些初始预处理时,请使用图形生成器的堆叠格式(按行)。图形生成器中的并行图非常适合宽格式数据。
- 使用平行图时,将波长数据拖动到 x 轴,然后右键单击,将鼠标悬停在组合尺度上,然后使用并行合并来了解基线偏移的差异。
- 可能需要对数据进行预处理。
- 第一步是使用堆叠波长数据来计算标准正态变量 (SNV)。SNV 可以在加载项中找到。
- 另一个预处理选项是使用 Savitzy-Golay 平滑器/导数滤波器。您可以采用一阶或二阶导数。一阶导数清除加性变化,二阶导数清除加性和乘性数据。求导会改变数据的结构,并使解释变得更加困难。
- 有时您需要同时进行 Savitzy-Golay 和 SNV。先做 Savitzy-Golay,然后再做 SNV。*很快您将能够在 JMP Pro 17 的 FDE 平台内进行所有预处理。
- 使用许多多变量技术(包括 MDMVCC、PCA、多维标度和聚类)可以而且应该用于显示多重共线性和子分组。
- 在常规 JMP 中建模:
- 常规 JMP 中的逐步回归已被证明可以很好地处理近红外数据,并且是查找重要波长(变量)的好方法
- 决策树效果很好,但请注意,手动执行拆分可能比让 JMP 执行所有拆分更好。
- 您可以使用保存的主成分在拟合模型平台中进行主成分回归。通过这种方式确定最重要的波长比较困难,但可以使用预测刻画器评估变量重要性。
- 偏最小二乘 (PLS) 是所有化学计量建模工具中最多产的。PLS 旨在处理与光谱和色谱数据相关的高度相关且通常非常广泛的数据集。PLS 可用于变量选择,以确定哪些变量可以通过 PLS 归因于整体最佳拟合。也就是说,如果数据通过预处理得到了很好的调节,那么通常不需要使用 PLS 进行变量选择,除非您正在查看组分成分的混合物。
- 转向 JMP Pro 进行建模:
- 偏最小二乘法 (PLS) – 见上文, PLS 也可在常规 JMP 中使用。
- 广义回归 (Gen Reg) – 惩罚回归模型有利于变量选择,因为每个光谱/色谱图可能有数百甚至数千列,弹性网络可以很好地确定最重要的变量(波长/峰值)。还建议扫描 Elastic Net Alpha 可能性的范围,以避免遗漏重要变量。例如,默认的 Elastic Net Alpha 为 0.99。如果您使用默认值,您可能会得到一个好的模型,但您也很可能会错过一些非常重要的变量,这些变量将提高您的预测能力。如果您没有时间扫描 Elastic Net Alpha 的范围,您可以选择中间范围 (0.56) 中的某个值,看看这是否给出了合理的模型。
- 函数数据浏览器 (FDE) – FDE 不一定是一个预测建模平台,因为它可用于分析连续体上的数据并确定哪些函数主成分以及有多少个函数主成分与一组曲线的形状相关。使用补充变量的函数 DOE 使 FDE 变得更加强大,并且您可以使用 FDOE 进行逆校准。
- 神经网络、Bootstrap Forest、支持向量机、XG Boost 都可以用于化学计量数据的分析。借助 JMP Pro,您可以使用模型筛选来确定哪个是最适合您的数据的建模平台。
化学计量学正在成为制药和 HLS 领域的一种趋势。 请在下面找到我在 LinkedIn 上发表的一些关于支持 JMP 主题的文章
FDA 的 NIR 行业指南 |领英
QbD 中的新兴分析技术 – PAT 范式 |领英
JMP® - AQbD 入门 |领英