级别:中级
职位职能:分析师/科学家/工程师
Peter Hersh,SAS JMP 高级系统工程师
JMP Pro 14 的一大亮点功能是函数数据探索器 (FDE)。但什么是“函数数据”?我们究竟该如何“探索”它?函数数据无处不在。它以传感器数据、交易数据、化学光谱等形式存在,不胜枚举。它们的共同点在于分析起来可能颇具挑战性。此外,我们通常不想直接分析函数数据;我们希望处理其底层信息——产生观测数据的函数。FDE 可以帮助我们做到这一点。它既可以作为探索性分析的工具,也可以作为降维工具,帮助我们将函数信息应用于其他建模技术。在本演讲中,我将通过工业、化学计量学和金融领域的几个案例研究,展示 JMP 如何使用 FDE 解决新的分析问题。在此过程中,我将演示 FDE 以及一些学习到的技巧和窍门,同时帮助客户了解这个新平台的真正强大之处。
函数数据探索器是在 JMP Pro 版本 14 中引入的,并在版本 14.1 中得到增强。
本文介绍了如何利用函数数据探索器在 JMP Pro 14.2 中执行函数数据分析。
图 1. 函数数据探索器快照,使用 B 样条模型拟合吸光度数据
历史
“函数式数据分析”这个术语最早由拉姆齐于1982年提出,但其历史可以追溯到1950年的格林德。其理念是将数据视为连续体,而非离散的测量值。这可以通过创建函数来描述数据来实现。
如何使用
启动函数数据资源管理器
要使用函数式数据探索器,您必须拥有 JMP 14 Pro 或更高版本的 JMP Pro。函数式数据探索器位于“分析”菜单的“专业建模”下。数据格式有三种选项:按行堆叠或按列堆叠。堆叠数据格式更佳,允许分析师同时查看多个函数响应。
图 2. 函数数据探索器启动窗口
函数数据资源管理器中的数据处理
启动函数式数据资源管理器后,会显示数据处理窗口,您可以通过该窗口执行多种不同的数据清理过程。函数式数据资源管理器中有 3 种数据处理类型:清理、转换和对齐。清理允许您删除那些无助于定义点的连续体的点,这些点可以是零、特定值或异常值。转换允许您快速将响应 y 变量转换为中心(将平均值设置为 0)、标准化(将标准差设置为 1)或稳定方差。对齐使您能够对齐 x 变量,对齐最小值、行、最大值,或使用动态时间规整与参考函数对齐。动态时间规整使用参考光谱,并将原始光谱的 y 残差减少到参考光谱。它通过将原始数据中的 x 值与具有最相似 y 值的参考光谱对齐来实现此目的。所有数据处理步骤都由数据处理步骤记录,并且可以删除。
图 3. 数据处理窗口
处理完成后,可以通过点击红色三角形并选择“保存数据”来保存数据。这将允许您创建一个新的已清理数据表。
模型拟合
数据清理完成后,您现在可以用模型拟合数据了。模型拟合可以在红色三角形和模型下方找到。JMP Pro 14 中有 3 种模型拟合选项:B 样条、P 样条和傅里叶基。B 样条是一种分段多项式模型,其中可以定义分段数(节点)和多项式的次数(次数 = 0、1、2 或 3)。P 样条是 B 样条的惩罚版本。傅里叶基模型是使用周期性递增的正弦和余弦函数构建的。傅里叶基模型非常适合周期性数据。运行模型时,JMP 将自动运行一组模型,并使用指定的信息准则(BIC、AICc 或 GCV)选择最适合您数据的模型。您可以调整节点的数量和位置以及拟合的多项式次数。
图 4. FDE 的模型选择显示,4 结三次拟合是按照 BIC 标准选定的最佳模型
在这个例子中,我们有 4 个节点,这意味着我们有 5 个独立的多项式模型(在本例中为三次多项式模型)来拟合每个节点之间的数据。分段多项式模型完成后,将生成函数主成分 (FPC) 来定义函数。JMP 将生成所有定义至少 1% 总体方差的 FPC。这些 FPC 定义了相对于平均值的形状变化。每个批次的每个 FPC 都会分配一个值。如果您的数据完全跟踪平均值函数,则所有 FPC 都将为 0。如果 FPC 为正值,则函数的形状与平均值的变化类似,类似于相应的特征函数(负值 FPC 表示相反的效果)。
图 5. 平均函数的示例以及称为特征函数的平均函数的变体。
保存您的功能原理组件
模型完成并与您的数据拟合后,将创建一个功能摘要表。该表将列出每批数据的功能主成分。您可以自定义所需的摘要以及希望生成的FPC数量。然后,您可以保存此表并用于数据分析。
示例 1 片剂溶出度的 DoE 响应
在制药行业,药物
溶出度测试
用于提供关键
口服药物释放曲线。该测试对于药物开发和评估批次间差异至关重要。该测试旨在替代人体研究,并受美国食品药品监督管理局 (FDA) 监管。药物溶出度测试的分析数据通常用于确定安全性
以及药品的功效。在本例中,我们尝试优化溶出曲线以达到我们的规格窗口。通常,溶出度测试会在不同时间点进行测量以建立曲线。在本例中,我们的溶出度规格为 70-80%,我们希望在 50-70 分钟的时间内保持该规格。本例将使用功能性数据探索器检查数据,并得出理想的设置,以获得符合规格且稳健的曲线。
图 6. 溶解过程和概况的快速视图
使用函数数据探索器检查光谱数据。在本例中,我们使用近红外辐射来观察牛肉中的脂肪含量。这取代了破坏性测定脂肪含量的技术。
图 7. 牛肉脂肪含量研究的光谱信息
实施例3发酵过程的酶产量
观察一组输入变量的形状,建立产量预测模型。确定每个输入变量的理想形状,以实现产量最大化。
图 8. 收益仪表板
概括
函数数据在不同领域和应用中随处可见。我们常常无法通过汇总数据来充分利用函数数据。这会遗漏大量已收集的数据,使我们无法捕获所有潜在信息。JMP 14 Pro 中的函数数据探索器通过使用函数主成分来捕捉函数数据的形状,帮助我们捕获所有信息。
参考
Ramsay JO. 1982. 当数据是函数时。《心理测量学》47:379–396
Grenander U. 1950. 随机过程与统计推断。Arkiv f¨or Matematik 1: 195–277