756807_zh-CN

liliconcom

光谱数据分析：预处理及其他 (2021-US-45MP-878)

Bill Worley，SAS JMP 高级全球支持工程师
Jeremy Ash，SAS Institute, Inc. 分析软件测试员

JMP 正在不断提升光谱数据分析能力，从预处理到预测模型构建。本次演示将展示可视化、预处理和模型开发。光谱学家、分析化学家和材料科学家将从本次演示中获益匪浅。我们将回顾并演示如何使用 JMP 进行标准正态变量 (SNV) 和 Savitsky-Golay (SG) 平滑。然后，我们将分享更高级的预处理工具，并展示如何使用函数数据探索器 (Functional Data Explorer) 进行光谱可视化和定性分析。此外，我们还将演示如何使用 JMP 将偏最小二乘和广义回归作为光谱数据的模型开发工具。

自动生成的成绩单...

扬声器	抄本
杰里米·阿什（JMP）	大家好，感谢您参加我们的讲座。我是 Jeremy Ash，JMP 研发部门的统计学家。Bill Worley 也在这里，他是一位高级系统工程师。我们将讨论如何在 JMP 中分析近红外光谱数据。
	这并不是比尔第一次就这个话题发表演讲。比尔之前也做过几次相关的演讲，你可以在社区里找到。
	我在这里提供了一些链接，它们都是免费材料，
	Bill 正在就 FDE 和 DOE 进行演讲，以便用更少的实验有效地建立多变量校准模型，他还更详细地介绍了光谱预处理
	今年早些时候在 Discovery Europe 上。之后，我和 Bill 就这个主题撰写了一系列博客，发布在 Communit 上。以下是我们目前为止讨论过的主题，我们还创建了一个 JMP 插件，稍后我会演示如何使用。
	因此，近红外光谱的一个常见用例是确定混合物的化学成分，我在右侧展示了近红外光谱的一个例子。
	在一定波长范围内收集一些吸光度测量值，这里的光谱代表粉状谷物样品，它是几种基本化学成分的混合物。
	纯组分的光谱在底部，混合物的光谱在顶部。由于类似这样的现象
	泛音和组合带中，各个成分的峰值通常很宽且重叠，这使得将光谱反卷积为底层成分变得困难。
	因此，人们采取的方法是建立模型来预测成分作为多种波长吸光度的函数，这使得数据变得高维，并且变量通常高度相关。
	因此，分析近红外光谱时要克服的主要挑战之一是信噪比通常较低，这是由于不受控制的变化造成的
	由光散射效应引起的噪声。在构建可靠的模型之前，需要先清除这些噪声。因此，数据通常会经过一些重要的预处理转换，并且存在一些常见的噪声源，如右图所示。
	真实光谱显示为黑色，然后绿色光谱具有恒定的基线偏移或加性效应。
	蓝色光谱具有加性效应和乘性效应。乘性效应是指吸光度越大，畸变也越大。紫色光谱具有加性效应、乘性效应，以及斜率向基线的偏移。
	接下来我将展示一些用于清除这些噪声源的预处理方法。所有这些方法都在我们的博客文章中进行了更详细的讨论，但我将在演示中展示其中几种，其中 Savitzky-Golay 一阶导数将用于清除加性效应。
	然后，二阶导数滤波器也可以清除倾斜的基线偏移。这些都是常用且有效的方法，但问题在于变换后的光谱比原始光谱更难解释。
	因此，我将提到的其他预处理方法在保持这种可解释性方面做得更好。
	标准正态变量中心和尺度，使得每个频谱的单位方差均值为零，这是一种简单的正态化，但它可以有效地清除加法和乘法效应。
	然后进行乘法散射校正，它使用线性模型使每个光谱看起来像参考光谱，并且通常没有可用的参考，因此使用平均光谱。
	然后，扩展乘法散射校正是唯一可以清除所有三个噪声源的方法，这是一种更先进的方法，需要混合物中每个成分的参考光谱。
	我们稍后会看到它是如何运作的。
	由于数据维度高且变量高度相关，因此许多多元分析方法均可适用。以上列出的所有分析均可在 JMP 中进行。
	降维方法对于数据可视化至关重要。常用的方法有主成分分析或多维尺度分析。
	然后，函数数据探索器中的函数主成分在这里是一种特别有用的方法。
	JMP 在光谱分析软件中独树一帜，它拥有一个用户友好的函数数据分析平台。由于光谱具有函数形式，FDE 在光谱分析方面拥有诸多潜在用途。
	我们才刚刚开始探索这些功能。聚类分析很常见。JMP 中的层次聚类尤其有用。
	然后通常会进行异常值分析，
	为此，首先构建 PCA 或 PLS 模型，然后在 T 平方和 DModX 图表中识别异常值。
	所有这些都可以在模型驱动的多元控制图平台中完成。然后，预测化学成分作为光谱函数的预测模型被称为多元校准模型，这些模型可以处理变量多于观测值的情况。
	这也可以通过 GenReg 或功能数据探索器中的 PLS 或惩罚回归很好地完成。
	好的，我将切换到 JMP 并开始我的演示。
	首先，我将展示如何使用光谱工具插件读取光谱数据。
	对于文本分隔文件，我们提供的插件只是多文件导入器的包装器，它在这里。
	但这个插件确实展现了一些最实用的功能。此外，我们还提供了 JCAMP-DX 导入器，这是 JMP 的新功能。总的来说，
	大部分功能在 JMP 中已经可以实现，但我的目标是编写一些封装器，稍微简化一下光谱的工作流程。另外，JMP 17 中会对此进行改进，所以希望这个插件很快就能过时，不过
	如果您正在构建光谱模型，这可能暂时有用。
	所以我有一个
	包含 csv 文件的文件夹，每个光谱对应一个文件。这些文件中，第一列是 X 变量，第二列是 Y 变量。所以我要把这个目录导入到 JMP 中。
	选择该文件夹。
	我想以堆叠格式读取，因为这是插件使用的格式。
	然后，我在这些文件中有一个标题；我会选择该选项。我也可以用它来只选择 csv 文件。
	因此，这会以堆叠格式读取光谱。
	我在这里的 JMP 表中也有一些元数据
	我想要添加到这个数据表中。我的方法是通过光谱列进行连接。
	但我已经读过带有文件扩展名的文件名，因此在这里使用文本到列来
	去掉那些扩展。
	我给它起了一个更具信息量的文件名。
	我将使用表更新并匹配光谱列。
	然后我要展示的最后一件事是......
	或者我要把这个频谱列移到这里。
	好的，这就是我设置这个数据表的方式
	并将其添加到加载项中的示例数据中。
	因此我将首先查看数据，为此，我将使用插件中的启动 Graph Builder 命令。
	我要根据面筋来着色。
	左边的光谱工具设置了一些本地数据过滤器，其中包含一些实用控件，您可以根据波长进行过滤，从而只关注感兴趣的区域。如果我只想关注这里的这个峰，
	如果我选择了数据表中的所有列，我可以使用显示子集命令，这将只生成感兴趣区域的子集。
	我还可以使用此过滤器绘制单个光谱，并且
	搜索光谱来绘制子集非常方便。
	我要展示的最后一项是动画控制，
	但要做到这一点，我要锁定轴，否则它们将适应单个光谱。
	这里...我要稍微加快一点速度，这样我们就可以快速浏览这些内容。
	如果您在不同时间点收集光谱（例如在反应监测中），此功能特别有用。
	您还可以使用图形中的 3D 散点图来可视化该数据。
	好的，所以我要
	清除这个
	筛选。
	当你有的时候要记住一件事
	按照你想要的方式设置情节，你可以保存它
	脚本返回到数据表，以便您可以在以后想要交换新数据时重新创建图表，例如在完成一些预处理之后。
	我还想展示可视化变异性和一些诊断图。为此，我将删除分组变量
	这样就能得到光谱的总体概况。我可以用箱线图。这些是
	这些变化对于了解波长变化是否恒定非常有用，并且特定于某些波长。如果是恒定的，则表明需要进一步的预处理；但如果是特定于波长的，则这些通常是真实的化学效应，因此很有用。
	另一种可视化变化的方法是
	条形图。我喜欢使用浮动条形图，如果你想查看不同子组中的变异性，还可以添加分组变量。
	这就是我要展示的可视化的全部内容。另外我想提一下如何读取 JCAMP-DX 文件。
	所以我有一个目录
	那
	包含两个来自 JCAMP-DX 标准网站的 JCAMP-DX 文件。我不太舒服
	我们用来测试插件的共享文件，因为这些文件来自客户。所以我刚刚从该网站获取了一个测试文件，并复制了两次，以演示如何读取
	多个文件。我们只支持最常见的格式，即包含 X/Y 变量列表且未压缩的文件，并且每个文件只支持一个光谱。我相信这是最常见的格式，但如果您需要其他格式，请告知我们。
	所以我要读一下...
	这里使用默认选项。
	只是为了向你展示
	这是正确读入的，
	在图形生成器中绘制它。
	这显示了相同的光谱，这些实际上是 NMR 光谱，但这也是 NIR 光谱的常见格式。
	这就是我要展示的全部内容
	具有数据导入功能。
	接下来我将展示光谱工具中的一些简单预处理方法。目的是提供一些基本的预处理方法，使用户能够使用类似 PLS 之类的方法开始一些简单的校准模型。
	这样我们就可以获得有关工作流程的反馈，但我们计划在 JMP 17 的 FDE 中提供更完整的预处理方法，这将仅限于 Pro，但我们鼓励用户使用 FDE，因为该平台真正专注于对光谱等功能数据进行建模。
	首先我要展示的是
	Savitzky-Golay 平滑。
	你可以改变这里使用的多项式的次数。你可以改变滑动窗口的大小；窗口越大，平滑效果越明显。然后，这里的修剪功能会修剪掉不平衡的滑动窗口。
	Savitzky-Golay 实际上是局部核回归的一个特例，所以你可以尝试其他选项
	在图形生成器中，例如定义滑动窗口的不同方式和不同的加权函数。选择所需的参数后，您可以将光谱保存回表格。
	接下来我将展示应用于
	平滑的光谱。
	和
	这只是对每个光谱进行中心化和缩放，你也可以用列公式来实现。Bill 会在预处理演讲中展示这一点。
	现在我要想象一下前后
	使用这个。启动图形生成器。
	按面筋着色。
	您可以看到，仅通过这些简单的预处理方法，我们就极大地清除了光谱中的噪声。不过，子组中仍然有一些噪声。
	Bill 在之前的演讲中展示了如何使用 Savitzky-Golay 一阶导数滤波器进一步清理数据。这个功能包含在我们在博客文章中尝试过的另一个插件中，但我在这里就不赘述了。
	要知道的主要一点是，比尔将展示这一点，即首先进行一阶导数滤波器，然后标准正态变量将清除任何剩余的乘法效应。
	所以事实证明你可以做得更好
	使用称为扩展乘法散射校正的方法对这些光谱进行预处理。
	所以我在这里进行了设置。
	这些数据实际上取自一篇介绍扩展乘法散射校正（从现在开始就称之为 EMSC）的论文，
	为了展示这种预处理方法的优势，我将使用散点图。但为此，我需要计算每个波长的平均吸光度。
	我可以使用这里的列公式来实现这一点。
	然后我将在图形生成器中绘制它。
	因此，散射效应图通过各个吸光度绘制每个波长的平均吸光度，Y 轴上的斜率表示加性效应，而
	变化
	各个光谱的斜率在这些图中呈现为扇形，这表明存在乘积效应。有趣的是，化学效应在这些图中呈现为环状。
	所以这里显然存在很大的加性效应，为了消除它，我可以使用一阶导数 Savitzky-Golay 滤波器。我这里有相关的数据。
	这样可以显著消除加性效应，但图中仍然残留一些扇形。你可以用标准正态变量来消除它们。
	但相反，EMSC 所做的是，它在一个步骤中消除了加法和乘法效应，并且不需要导数变换，这很有用，因为这将使生成的光谱更容易解释。
	EMSC 的本质作用是分离由于化学效应引起的光谱变化和由于噪声引起的光谱变化。
	然后它会减去噪声引起的变化，并用线性模型来实现，所以我在这里设置了模型所需的项。
	我们在博客中详细介绍了这一点。我想说的是，你可以使用拟合模型
	拟合 EMSC 模型，这是一个非常有用的教学工具，可以帮助理解预处理模型的应用，使其不再是一个黑盒子。在这个模型中，我们为每个光谱建立了一个单独的模型，并估算了系数
	用于修正，你可以……你也可以
	重新启动这个
	具有不同效果的模型来观察事物如何改变。
	所以我在这里应用了最后的修正，我只会展示前后对比。
	所以
	现在光谱明显不受散射影响，对光谱的影响是
	现在混合物成分变化导致的损失已经很明显了。这就是我要讲的全部内容，我会把这个交给Bill，他可以讲解一些建模方法。
比尔·沃利	嘿，谢谢你，杰里米。
	让我们在这里切换屏幕。
	现在你应该能看到我的数据表了。我希望只要点击一下就能看到。
	每个人都能看到我的数据表吗？
杰里米·阿什（JMP）	是的。
比尔·沃利	好的，我们开始吧。这和 Jeremy 用的数据一样，只不过这次我们得到的是……我得到的是宽格式。只是想让你知道，你可以用两种方式分析数据。有些人喜欢堆栈格式，有些人喜欢宽格式。
	所以，只要相信这是可以做到的。首先我想向你们展示的是，
	Jeremy 之前提到过，我们如何查看原始格式的数据，然后进行 Savitzky-Golay 一阶导数运算，最后进行标准正态变量平滑。再次强调，这些操作是在宽格式下进行的。
	好的，现在向您展示如何做到这一点。
	接下来我想展示的是
	主成分分析。对于大多数使用或分析光谱数据的人来说，这是相当标准的分析方法。
	我们……这在 JMP 中非常可行。你知道，你可以分析，
	多变量方法和主成分分析。我已经完成了。我已经设定好了，我们这里展示的是，在大多数情况下，用两个主成分分析，我们就能解释所有正在发生的变异。如果我们看一下这里的得分图，
	您可以看到，我们拥有的混合物的不同组别，包括麸质和淀粉。
	我们有...
	嗯，我们可以看到那个子分组。做得很好。另外，你可以看到Jeremy谈到了高度相关的数据。
	我们在另一个组件图中展示了这一点。我们可以打开变量，但是……标签也打开了，但这样会有点乱。
	看一下。下面是离群值分析图，也就是T平方图，我们使用了分析中的两个主成分。它显示，是的，我们可能有一些光谱有点偏离……
	这可能是异常值，但在大多数情况下...在大多数情况下，我们无论如何都不会使用所有数据；这只是一种确定数据范围的方法，好吧。
	接下来，我想展示的是模型驱动的多元控制图，这实际上和我用主成分做的东西是一样的，只是
	不同的方式。所以我们看的是相同的两个主成分
	上面是子组的分组。往下看，我们可以看到一个叫做归一化 DModX 的数值，这是观察异常值的另一种方式……
	数据中存在潜在的异常值。只需知道它存在即可。模型驱动多元控制图提供的另一项功能是比较数据。
	我在这里所做的是，我选择了样本 13、46、95 和 45 来展示它们之间的差异
	那四个光谱，对吧。现在我们可以看到，这些……这些组中的光谱非常不同，对吧，光谱非常不同。
	另一种比较方法是通过下面的分数图。我将选择字母“L”，这样就会弹出套索工具。
	我会尽可能地圈出它，不抓取任何其他数据，把它设为A组。然后在下面的红色组中，也就是最后一个红色组，
	抓取并选择它。这是我的B组，然后比较，对吧。这样你就可以再次有效地比较数据。
	当我这样做时，我可以看到，当我选择光谱时，在不同的分组中选择了什么，对吧，这只是一种可视化数据的很酷的方式。
	好的。我要继续下一个步骤了。这是原始数据。下一步是预处理数据，也就是你之前看到的数据。
	但我已经做了预处理，所以我从原始数据一直到标准正态变量。同样，在这里使用两个主成分，
	我们可以看到数据分组得更好了。噪音少了一点，变异也比T平方图少了很多。我发誓我不是故意的，但现在数据看起来更开心了，对吧？有点像笑脸。
	下面这些小分组里每个都有20个光谱。如果我把鼠标悬停在上面，我就能绘制出这些光谱，然后弹出来。
	看看这个，如果我愿意的话，好的。我可以像之前那样分组，我们试试看。突出显示这个
	这样就简单多了，因为我不用……用那个绘图工具，因为数据分组得更好了，对吧。在同一个例子中，我可以像之前一样，突出显示数据，然后
	根据需要进行比较，好的。这就是使用主成分的方法。还有另一种方法可以进行相同类型的分析，使用
	偏最小二乘法。保存偏最小二乘 X 值，然后使用该数据构建模型驱动的多元控制图。再次强调，这看起来非常干净。这是预处理后的数据。分组效果非常好，我们可以从中看到。
	我们可以看看
	DModX。它仍然有点噪音，但不像我们查看包含主成分的原始数据时那么嘈杂，好吧。让我们回到
	看看另一种分析方法，也就是更高层次的……层次聚类。杰里米提到过这一点
	最初，从数据来看，
	看看聚类是如何发生的。如果我们处理原始数据，我们可以看到有很多较小的聚类。
	实际数据……似乎分散在不同的组中。我的意思是，它们……并没有像你希望的那样分组，对吧。所以我们采取了……
	经过预处理的数据，做了同样的分析，我们得到了非常好的分组。每个数据都分为五个簇，这就是你在这里看到的。
	所以淀粉和麸质在这里被很好地分离了。如果你通过“保存簇”功能将这些数据保存回数据表，
	如果你愿意的话，你可以在建模中使用它。你也可以保存最近聚类的公式，这样你得到的任何新数据都会被
	放入最接近的簇中。
	好的，以上就是几种导入数据、查看数据、进行建模设置的方法，然后下一步就是进行建模。接下来我要向大家展示的是偏最小二乘法，它通常是……抱歉，这是广义回归。
	所以这是我们想向大家展示的广义回归模型，对吧，
	这是
	我们或许能看到一些正在发生的事情。而且在我看来，有些事情似乎已经发生了变化。
	我想抓住……那里，那里。这是我的偏最小二乘法，这表明我已经以一种希望能够
	给我一个好的模型。我所做的，我会向你展示如何去做。你去分析，这是 JMP Pro 版本。就像我说的，我向你展示的很多功能都可以在普通的 JMP 中完成。如果我使用多变量方法，
	偏最小二乘法，我可以做同样的分析，但我要用JMP Pro版本，对吧。我要选择淀粉和麸质。
	我要选择原始数据并添加它，然后从那里运行它，
	对。我输入了错误的设置，但让我们继续
	返回
	我们在这里设置的分析。我可以在这里向你们展示一些不同的东西。这是用预处理数据完成的。
	好的，所以看起来非常合身，我稍后会给你们展示一下这些合身度的对比。所以
	我们已经得到了原始数据、部分数据……以及预处理数据的偏最小二乘数据。如果我想比较它们，
	我明白这些模型是怎么运作的，对吧？我现在展示的是左边原始数据和右边预处理数据的对比，预处理后的数据拟合效果更好，所以这又回到了Jeremy之前说的。
	我们需要清理这些数据以获得我们能得到的最佳预测模型，希望能够成功。
	我想向你们展示的另一件事是
	这...
	让我们看看我在这里哪里。
	我想向您展示的是功能数据探索器。
	这是
	一种...最新的建模方法，或者至少对于 JMP 来说，最新的光谱数据建模方法，因为您可以通过连续的方式分析数据。
	好的，我来演示一下怎么做。不过，现在，如果我只看原始数据，我们可以用两个函数主成分来分析，
	就像我们用主成分分析做的那样，我们可以得到一个相当不错的模型。不过，你会注意到，这更像是一种多元校准方法，但它是一种逆多元方法。
	让我们逐步进行分析。
	分析。
	然后我们必须进行专门的建模，然后我们将进行功能数据探索。
	因为我有宽格式的数据，所以我必须使用行作为函数。
	会用我的
	淀粉和麸质作为补充变量。Spectra 是我的 ID，我要获取原始数据。
	好的。
	现在，您可以在功能数据资源管理器中对数据进行很多操作，例如清理数据和进行一些预处理，但正如 Jeremy 所说，JMP 17 中的功能只会变得更好。
	从这里开始，我们想进行一些建模，或者建立一个模型。我们想拟合所有数据，
	所以我们要进入模型，直接使用函数式 PCA。
	如果我们看一下这里，这表明我们可以使用五个功能主成分，但这几乎是浪费精力，因为我们已经......
	有了两个，我们实际上就拟合了所有数据，100% 的数据，也就是变异的数据，对吧。所以我要把它往后移，稍微整理一下，然后再往下移。
	让我们看一下这里的得分图。
	这会显示数据，例如我们之前看到的子组中的原始数据，以及所有其他得分图。这个功能的好处是，如果我将鼠标悬停在这里，就可以弹出这些单独的光谱。
	并从视觉上进行比较，好的。
	再往下看，我们有一个功能强大的主成分分析器，它很棒。我们可以看看
	当我们改变函数主成分时，曲线会发生变化，但试图告诉人们，你知道，去改变函数主成分 2
	想要得到你想要的曲线……效果不会很好。所以新增了一项功能，叫做功能性DOE分析。有了它，你就可以
	看看它的性能……或者说，曲线是如何变化的，取决于我添加的组件、补充组件以及我们的混合组件。我在这里添加一点，我要改变一下线性。我要添加一个约束。
	和
	改变这一点。
	好的，然后说“好的”。然后我们看看这里的分组，随着淀粉含量的下降，麸质含量会上升，所以这个约束允许我们查看
	不同组别或混合物的比较结果如何？当我们改变淀粉和麸质的含量时，曲线会发生什么变化？好的。这又是一个连续的过程，我们在数据中所做的非常明确。
	部分数据，这样我们就可以知道会发生什么，即使...即使混合物并不像我们在数据中显示的那样精确，好吧。
	好的，这就是原始数据，让我们看看这是否是......我的下一步是......这实际上是同一件事。
	我想确保我找到的是正确的。这是用预处理数据完成的，所以这是同一个功能数据探索器。
	使用预处理的数据，对不起，您已经可以看到差异了。
	预处理数据输入后，我们拟合模型，得到两个函数主成分。我们接下来要查看的是
	得分图。我们可以再次看到，这些变量的分组实际上是不同版本或不同
	面筋和淀粉的分组或混合物在这里分组得好多了，好吗？所以，你可以把不同的成分取出来，这样就有点像在观察它了。
	我最后要展示或谈论的是所谓的广义回归。
	如果这将
	好好玩吧，这是原始数据的广义回归拟合，对吧。我用弹性网络拟合和k倍交叉验证完成了这个。
	我把弹性网络的alpha值设为0.56，以获得……我称之为更赏心悦目的效果。它的作用是允许不同的……或更多组
	添加到模型拟合中的波长。这不仅会限制整体模型拟合度。
	如果我这样做，如果我限制了弹性系数，限制了α系数，我就能得到一个更像这样的拟合。现在它是一个更小、更简单的模型，但你也会得到……你可能会错过一些附加的或
	附加效应可能会帮助你获得更好的整体拟合度。所以这是你的选择，从长远来看，更简单的模型会对你更有帮助。
	如果你需要有不同的组，这将帮助你找到不同的组，如果你有多个组件混合物，但只要知道适合
	较低的弹性净 alpha 将允许更多的因素和更多的变量，更多的波长成为模型的一部分，好的。
	这就是原始数据。看看这能给我带来什么……
	我们只是看看我们是否得到...然后这是适合
	完全预处理的数据，所以它实际上是同一件事。
	只是你看到的是不同的整体输出，
	对。你看到的是一个不同的模型，它看起来完全不同。这又是因为使用了不同的弹性网络 alpha 值和
	我们最终要做的就是比较这些东西。如果我比较……
	再次，比较PLS原始数据和预处理数据，它们的拟合度明显提高。如果我比较广义回归和……这是偏最小二乘数据
	预处理，使用广义回归在较小的弹性净α值下进行预处理，然后是较高的弹性净α值。我们在各个方面都得到了很好的拟合，对吧，所以使用
	JMP Pro 中的广义回归与偏最小二乘法。实际上，你会得到一些非常好的模型，并且
	这只是一种很好的方法，可以分析您的数据并建立预测模型以供将来比较或获取未来数据。
	最后，我要向你表示感谢。杰里米，非常感谢你参与其中。希望大家喜欢这个功能。请给我们反馈。我们期待大家的反馈。我们想知道大家对这些新功能的看法。

高级统计建模基础数据分析与建模消费者和市场研究实验设计预测模型和机器学习质量与工艺工程分享和交流结果