JMP 首席数据科学家 Chris Gotwalt 和 JMP 高级研究统计开发人员 Ryan Parker 于 12 月 8 日(美国东部时间上午 11 点至下午 12:30)就此主题举办了一场开发人员教程(通过 ZOOM)。该教程面向所有人,对了解基本预测建模原理、使用 JMP Pro 进行预测建模并需要对曲线或光谱数据进行建模的 JMP 或 JMP Pro 用户尤其有用。了解如何、为何以及何时使用这些技术以及支持这些工具的统计数据。有大量时间用于问答。观看视频。
在这篇博文中,高级分析软件测试员@Mark_Bailey我解释了一些新的功能在 JMP Pro 17 中。 JMP 开发团队一直在努力将新的化学计量分析功能融入软件中。 大多数新功能都以功能数据资源管理器为中心。 现在,只需单击几下鼠标,您就可以对曲线数据进行预处理,将预处理后的数据保存到新表中以进行进一步的多变量分析,并在一个平台上完成对该数据的功能分析。 我们将在这篇文章中专注于分析光谱数据,但请注意,该平台几乎可以分析您的任何化学计量数据,并获得出色的结果。
非常感谢@clay_barker , @瑞安帕克, 和@chris_gotwalt1用于将这种化学计量分析能力整合到一个平台中。
预处理
预处理光谱数据并不比使用 FDE 容易得多。 有一个新的 Spectral 选项卡,您可以在其中找到几个预处理工具,包括标准正态变量 (SNV)、乘法散射校正 (MSC)、具有一阶和二阶导数功能的 Savitzky-Golay 平滑以及基线校正。

图1。 FDE 中内置的新预处理功能的屏幕截图
我们使用来自 Dyrby 等人的近红外数据集展示了 JMP Pro 中更新的化学计量分析能力, 应用光谱学第 56 卷,第 5 期,2002 年。
初始预处理
对于该数据集,初始预处理步骤是 SNV,然后是基线校正。 基线校正是整个函数的二次模型。 您可以在下图中看到预处理如何减轻数据中的大部分变化。
使用单一预处理方法或组合使用它们以充分利用数据标准化。 在许多科学文章中看到的更常见的组合之一是采用 Savitzky-Golay 一阶导数,然后采用 SNV 进行最后一步。 这种组合效果很好,但不要羞于尝试多种组合,看看哪种组合最适合您的数据。


图 2。 预处理前后的平板电脑近红外数据
将预处理后的数据另存为新的堆叠表,以进行进一步的多变量分析步骤。 您应该将数据转回宽格式以进行任何其他分析。
小波建模
我们之前展示了如何在 FDE 中使用 B-Splines 和 P-Splines 对光谱数据进行建模。 在 JMP Pro 17 中,主要为化学计量数据添加了新的小波建模功能。 您将在红色三角形下方找到新的小波模型切换(功能数据浏览器 > 模型 > 小波)。

图 3。 JMP Pro 17 中与 FDE 关联的模型
与任何一种样条方法相比,小波建模在拟合具有许多峰值的曲线数据方面要好得多。
如下所示,小波模型输出可以快速拟合所有 310 个批次的数据。 结果表明,在基于贝叶斯信息准则 (BIC) 的 15 种其他算法中,Symlet 4 模型最适合所有数据。 BIC 最低的模型是最好的。

图 4。 基于BIC的小波模型选择与最佳拟合
因为 FDE 为感兴趣的曲线的形状找到了最佳模型,所以您会看到功能主成分 (FPC) 现在称为形状函数。

图 5。 FDE 数据的新形状函数指定
您还可以看到,特征值图仍然显示了各个形状函数对形状变化的解释程度。
此时,您需要将函数摘要保存到新表中。 单击函数摘要的红色小三角并选择保存摘要。 功能主成分将与小波系数一起保存到这个带有补充变量的新表中。 我们将在预测建模部分重新访问此表。
一个新的 Control Chart Builder 函数还绘制了每个样本 ID 的 FPC 的函数摘要。


图 6。 控制图生成器内置在 FDE 中。
和以前一样,您可以使用 FPCA 模型选择工具来限制用于定义形状的组件数量。 当大多数变化由比原始模型中显示的数量更少的形状组件解释时,这种减少将有助于简化您的模型。

图 7。 功能主成分(形状函数)模型选择工具
小波 DOE 分析
最后一个新功能是小波 DOE 分析,它位于小波的红色小三角菜单中(Wavelets on Reduce Grid (404))。
网格上的数据转换非常快。 缩小的网格确保波数均匀分布,没有小数点。 JMP 会为您开发简化的网格,但如果您愿意,您可以控制网格的规则程度。

图 8。 小波 DOE 选择选项。
对于这些数据,我们希望查看哪条曲线或一组曲线最能模拟给定的百分比 API。 使用广义回归平台快速分析小波系数。 生成的 Wavelet DOE Profiler 用于查找定义不同百分比水平之间差异的波长或设置波长。 由于系数代表波长和分辨率,因此它们用于构建比使用 FPC 可能实现的模型更易解释的模型。

图 9。 小波 DOE 能量图形和 FDOE Profiler。
在上图中,能量表显示了所有系数的最显着差异。 Res 2 在波长 8175 处的系数具有最高能量,约占有效波长总能量的 27%。 作为奖励,系数直接代表曲线数据中的特定波长或峰值。
从小波系数构建预测模型
新的汇总表对于统计分析和预测建模很有用。 FPC 可用于构建预测模型,或者另一种选择是使用广义回归平台基于小波系数数据的子集构建预测模型。 正如您在下表边距中看到的那样,所有 512 个小波系数都有一列。 很可能,您只需要所有系数的一小部分即可构建良好的预测模型。

图 10。 小波模型汇总表(512 个系数)。
下面的广义回归模型显示了使用所有小波系数数据作为拟合变量的拟合。 弹性网络惩罚与 0.56 的弹性网络 Alpha 一起使用,以包括尽可能多的基本波长,但通过使用模型中的所有 512 个小波系数来避免过度拟合。

图 11。 广义回归模型拟合。
使用您自己的数据集尝试新技术或要求我们进行演示。 再次感谢我们优秀的开发团队,我们期待听到您对这些改变游戏规则的软件增强功能的反馈。
谢谢比尔,这确实是一个了不起的进步,它使更好、更具预测性的化学计量学模型成为可能。然而,小波可以假设为负值,而大多数化学计量学光谱数据并非如此。正因为如此,分解小波中的光谱可以实现预测模型,但从物理化学的角度来看这些并不容易解释。会产生很大差异的是启用约束,例如频谱分解的非负性。
你好@文森佐,
谢谢您的意见。
我想引导您访问社区页面上的 JMP 愿望清单。请在愿望清单中提交您的想法/建议/需求,同时,我会提醒我们的开发人员您的建议。
亲切的问候,
账单