349268_zh-CN

liliconcom

预处理光谱数据以进行分析 (2021-EU-30MP-787)

级别：中级

 

Bill Worley，JMP 高级全球支持工程师，SAS

 

预处理光谱数据是准备数据以便在任何数据分析工具中进行分析的重要的第一步。 我们将使用 JMP 回顾并演示标准正态变量 (SNV) 和 Savitsky-Golay (SG) 平滑。 这些预处理工具在整个行业中相当标准，是利用原始光谱数据构建预测模型的第一步。 特别感谢 Ian Cox 分享他的 SG 插件。

 

 

自动生成的成绩单...

 

扬声器	成绩单
比尔·沃利	大家好，我是 Bill Worley，JMP 系统工程师。 我在 JMP 工作已近七年了。 今天我们要讲的是
	预处理光谱数据以进行分析。 我将其称为前传，因为我已经就在 JMP 中分析光谱数据进行了演讲，但预处理是重要的第一步，将向您展示原因。 让我们开始吧。
	那么让我们在这里谈谈摘要。 预处理光谱数据确实是准备数据（任何数据）进行分析的重要的第一步。
	您知道，我们可以与您讨论...我们将查看演示并演示 JMP 中的标准正态变量和 Savitzky-Golay 平滑工具。 这些是整个过程中相当标准的预处理工具
	化学世界、化学工业以及任何从事光谱学和分析光谱数据的人。 他们会知道...
	有关标准正态变量 Savitzky-Golay 及其使用方式的更多信息。 因此，这又是帮助您根据原始光谱数据构建预测模型的重要第一步。
	因此，有一点背景光谱数据可能会非常混乱。 预处理用于在构建这些预测模型或您可能想要构建的任何预测模型之前帮助平滑、过滤和校正基线。 Savitzky-Golay 过滤和标准正态变量
	是在 JMP 中使用的工具。 Savitzky-Golay 是由 Ian Cox 开发的插件，因此……感谢 Ian。 标准正态变量需要...
	某种公式，我们将向您展示如何将其构建到 JMP 中。 最后一行是...图形生成器也是可视化光谱数据的宝贵工具，并且可以用作平滑数据的替代平台。
	但当我们进一步讨论时，我们会再次讨论这个问题。
	为什么我们这样做。 为什么要进行任何类型的预处理？ 好吧，如果你首先看一下顶部光谱或光谱组，那就是来自 100 个光谱的原始数据，你无法真正区分它们之间的任何区别
	你知道，100% 淀粉或 100% 麸质的混合物。 你可以看到一些差异，但你看不到......你无法分辨什么是什么。 出色地，
	接下来我们要做的就是进行 Savitzky-Golay 平滑和过滤，然后采用一阶导数，这将为您提供一组更清晰的光谱，
	很好地分组，但仍然没有完全达到您想要的位置。 最后，在进行标准正态变量平滑之后，光谱变得更清晰，更容易看到峰值在哪里。
	您可以看到不同光谱分组中的差异。 因此，这些红线、灰线和蓝线中的每一条都有 20 个光谱，而且它绝对干净得多。 您可以看到不同混合物的峰在哪里。
	好的，Savitzky-Golay 滤波是一个数字滤波器，提供给您的光谱数据以进行平滑处理。 它的好处是它不会改变整体光谱本身、峰值的位置等等。 所以这是一个很好的工具。
	它使用卷积进行平滑，并且基于线性最小二乘公式。
	一阶和二阶导数也是......您还可以从平滑信号中驯服它们。
	并且还可以过滤光谱两端的任何不重要数据。 如果你遇到这样的情况，你知道，你一开始就有一些东西，那只是不重要的，它只会让你在你前进时陷入困境，而在另一端也是同样的事情。
	图形生成器甚至允许您执行一些 Savitzky-Golay 无法执行的内部平滑或内部过滤操作。
	加入。 因此，您可以将本地数据过滤器与图形生成器结合使用，并进一步定义感兴趣的区域。
	所以，
	我们继续。 萨维茨基-戈莱
	分析是我们已经得到了……我们已经完成了……如果我们进行该分析，这是一组光谱。 这样我们就得到了光滑的，
	一阶导数，现在延伸了一点。 我们把零线放在那里。 通过一阶导数，您可以
	根据零点或零点交叉告诉峰值在哪里，对吧，这样您就可以了解任何给定的峰值在哪里
	一组光谱，一组光谱。 对于二阶导数，现在有点不同了。 它有助于展平基线，然后，如果您有重叠的峰值，它可以帮助您
	进一步发展或更好地查看这些重叠的位置，然后从正值变为负值，这表明重叠的峰值以及它们可能在哪里。 好的，这就是您使用该工具的方式。
	标准正态变量本身又是关于各个光谱的数据的标准化。 它可以单独使用，也可以作为附加平滑工具使用，我们今天将其用作附加工具。
	是用...
	它用于基线偏移校正和全局强度变化校正。 好处是，它消除了基线变化而不改变光谱的形状，对吧。
	数据，关于这个的事情是，当我们这样做时你会看到这一点，数据必须堆叠，好吧。
	好吧，这只是公式之一
	可以用于设置标准正态变量公式，我将向您展示如何做到这一点。 有几种不同的方法，但它有点复杂，我将向您展示如何做到这一点。 这里重要的部分是
	我们这里有标准化列的标准公式，但我们必须确保我们使用它作为变量，这就是光谱本身。 所以
	添加它有一点技巧。
	是的，如果它只对原始数据进行标准正态变量，那么它就会是这样的。
	我们可以看到分组，我们可以看到事情是如何爆发的，但是如果我们在进行一阶导数之后再进行标准正态变量，那就干净多了。 你可以更好地了解光谱的位置或它们重叠的位置，你知道，
	你可能需要做一点...二阶导数会发挥作用，你可能在这里有重叠的峰值，对吧，
	也许回到这里。 所以
	这就是真正有助于建立您所看到的更好愿景的地方。 零线再次表明，当你穿过零线时，零线是峰值的指示，峰值使用一阶导数。
	好吧，让我们开始演示吧。
	好吧，离开那里。
	那么让我们来谈谈数据可视化……首先是数据。 请记住，每当您获得一组新数据时，最好的办法就是将其拉入并可视化。 你知道，绘制这些数据，更好地了解你所面临的情况。 让我们从这里下去然后拉上来
	我们的面筋原始数据。 好的，我们已经导入了数据。 现在我们需要对其进行一些可视化，让我们...让我们转到图形生成器。
	是的，我们要做的第一件事，
	将其向上移动一点，转到原始数据。 好的，现在我们要把它拉进去。
	这是点数据，所以这就是我们......在我们进行任何平滑之前、在我们做任何其他事情之前所看到的。 这就是该行数据，如果我可以将其更改为
	右侧的平行图，为我提供了光谱的线数据。 同样，我们看不到那里发生的很多事情，但它让我们更好地了解事情出问题的地方。 我可以做到...
	我们可以在这里做一些事情，一些叫做...如果我们需要的话，你会看到它与其他数据，这个并行合并。 但这并没有改变任何事情。 它没有像您将看到的其他一些数据那样将任何数据组合在一起，所以我将关闭它。
	是的，我在可视化数据时喜欢使用的其他一些工具是模型驱动的多元控制图，让我们首先这样做。
	因此，我们将讨论分析、质量和流程以及模型驱动的多元控制图。
	把这个往上移。
	是的，我没有任何历史数据，所以我说好吧。 这让我们可以做的是，查看数据并说，好吧，
	我们可以看到光谱分组，对吧。 在大多数情况下，这是......只是想指出这一点，
	我们能够解释我们看到的大部分变异，至少 85% 的变异有两个主成分，好吧。 那就是用这个？？？ T 平方
	我们在这里得到的信息。 这也告诉我们对于给定的光谱，哪些地方可能会失控，对吧。 为什么它与小组中的其他人不同？
	因此，如果我将鼠标悬停在其中一点上，我就可以将其拉出来，对吧。 如果我将鼠标悬停在某个失控点上，再次将其拉出，
	现在我们可以看到，哇，这些确实不同，你知道。 你知道，这个光谱有一些不同之处，我们必须更好地理解。 在这种情况下，我们已经有了更好的理解，因为我们知道它们是混合物，但我们希望看到这一点。
	我们也把这个拿出来。 好吧，那又是一篇。 因此，在这三个光谱之间，我们得到了各种各样的混合物。 所以我们有三组……三组，我们也可以把另外两组放在那里，只是为了看看。 但我们暂时就这样吧。
	好的，这就是模型驱动的多元控制图。 我喜欢使用的另一个工具是……它采用多元方法，称为多维缩放。
	我喜欢使用它的原因是，特别是对于这样的系统，
	是我们有
	再次我们的原始数据，对吧，我们需要......
	让我先设置一下，然后我会告诉你。
	我们这里有两个维度，对吧，这只是基于我们之前看到的，但我喜欢使用的原因是这允许我们进行一些分组或可视化数据本身的一些分组。 好吧，
	让我们这样做吧。 这需要一秒钟才能出现。
	我们可以看到，我们有五组不同的光谱，对吧，所以每一组都与一组淀粉和麸质的混合物有关。 如果我在这里强调这一组，那就是第一组，也就是 100% 淀粉。
	中间的组是 50/50 的混合物，下面的组是 100% 麸质。 是的，它的作用是突出显示数据表中的数据，就像所示的那样，这样
	互动性也不错。 这也向我们表明，我们已经做得相当不错了……已经能够区分出不同的群体。 如果我们看一下谢泼德图，
	我们有 R 平方为 1 且
	直线，好吧。 再说一遍，这是一种可视化它的好方法，而且您还可以用它做更多事情，但我们将在下次讨论。
	好吧，到目前为止，
	我们已经引入了数据，我们将其可视化，对吧，现在我们需要做一些预处理。
	我们要做的，我已经有了这些，或多或少，这里有占位符，所以我们要做一些 Savitzky-Golay 分析，我们要做一些标准的正态变量，至少在第一个衍生品，好吧。
	好吧，让我稍微清理一下。
	对了，关闭它。
	我们将再次获取原始数据，并使用 Savitzky-Golay 插件进行分析。 所以这对我来说是在加载项下。
	这是一个免费的插件，因此您可以获得它，我们会为您提供。 所以这又是，我们将获取原始数据，
	是的，如果您想了解有关 Savitzky-Golay 的更多信息，我们这里有一个维基百科链接，您可以使用它。 但我们将使用它来帮助平滑每个波长的数据，然后获取一阶和二阶导数。 我说，好吧。
	就这样，我们已经得到了平滑的数据。
	有一点，你知道，你可以根据需要调整它，但我们想做的是采取这个，
	把那个窗口扩大一点。
	好吧。
	做那个吧。
	您可以在这里使用多项式，即多项式拟合的阶数。
	在这种情况下，使用八阶多项式实际上并没有多大区别。 第二个……第二个订单就很好了。 好吧，然后我们可以从一阶导数中获取该数据。
	说保存平滑数据，对吧，我们可以将其保存回数据表。 我已经这样做了，所以我不必向您展示该过程，只需知道数据然后从那里取回到数据表即可。
	让我们结束吧。
	好吧，我们现在就可以开始了，但现在我们需要做最后一步，对吧。 所以让我们看看...在我们去那里之前，让我们回去看看
	我们的 Savitzky-Golay 数据。 这是一阶导数数据。 我想再次看看这个
	图形生成器，对。 看看那......只是看起来不太有希望，但让我们做平行情节，
	让它好一点。 清理它，然后让我们进行这种组合规模并行合并，这使数据更加丰富
	视觉效果……比以前更好的视觉效果，对吧。 我们可以玩这个……游戏，我们可以在这里添加我们自己的零线，以更好地了解峰交叉的位置。
	但这是一阶导数数据。 这是......你可以看到这些组，但他们不是，你知道，他们并没有完全分开，就像你真的想让他们得到更好的想法，好吧。
	所以我们就在那里。 该数据返回到数据表中。 我要结束它，然后记住我说过，你必须堆叠数据......才能执行标准正态变量，所以我们需要这样做。 让我们首先在这里提取一些数据。
	好吧，那么
	将所有这些子集取出。
	桌子。 子集。
	所有行。 选好栏目，说好。 好的，现在我们可以去那里了。
	正确的。
	好吧，至少，我们……我们已经将数据分离出来了，对吧。 现在我们必须做...堆叠数据，对吧。 再说一遍，这是为了能够将过滤器过滤到公式所需的所有数据。
	所以在表格下。 堆。
	这些是我们正在堆叠的列。
	对了，按行堆叠。
	我将选择我们想要保留的列。
	最重要的是。 之后，
	抱歉...我只是点击一下以获得此设置，但您会明白的。 我将把这个问题搁置一会，让人们看看如何才能到达那里。 所以我保存了这个。
	你知道，现在看看无标题12。 这就是我们的堆叠数据，对吧，现在我们可以执行该标准正态变量。 一个快速的方法是创建一个新专栏，
	右键点击。
	我必须从这里，从公式编辑器构建这个公式。 我将使用这个名为的统计工具
	列标准化，对。 如果我将鼠标悬停在此处，这会让您知道您正在用它做什么。 标准化是什么意思，对吧。 所以我们要...
	平均值为 0，标准差为 1，这就是我们试图通过数据和所有给定光谱得到的结果。 所以我们需要获取数据
	时不时地，请记住我说过我们必须添加双变量，在本例中，这将是光谱。 我会说好吧。
	好的，这给了我们一个数据集。 现在有一种更简单的方法可以做到这一点，或者我认为是一种更简单的方法，但它也可以......
	有时会比较耗时。 但是，如果我右键单击此处的光谱，请记住我这样做是因为我们需要一个双变量。 因此，我将转到新的列信息并进行分组。
	我将选择我的数据列，然后右键单击它，然后创建一个新的公式列。
	我们将转向分布式，记住，标准化。 我们...所以我们想要那个
	均值为 0；标准差为 1。 选择它，然后构建该新列。 这样做的好处是数据匹配，所以我可以松一口气，因为我做对了。
	是的，所以我已经明白了。 现在，这需要从这里开始，我将单击该列，
	我们获取这些数据，将其拆分，然后将其放回到常规数据表或初始数据表中。 我想向你们展示的一件事是
	一旦你堆积了数据，你就可以做一些其他的可视化，对吧。 因此，如果我回到...回到图形生成器，我想获取这些数据
	进入
	是的，然后我要把标签拉过来，这是查看所有变化在哪里的很酷的方法。 所以这些都是，
	你知道，箱形图显示了你在哪里看到数据的变化，所以这是一种非常好的方式来可视化正在发生的事情。
	使用图形生成器的另一种强大方法，在这种情况下必须堆叠数据才能做到这一点。 现在，你还可以做的是
	如果你拉入点数据，让我们把它去掉，把点数据放在那里，然后我们可以做一些平滑处理。 现在这是一个单独的平滑，所以这是每个数据的平均值。 我们想做的是这样做
	Savitzky-Golay 平滑，所以我需要拉入
	覆盖层，对。 这就是所有数据。 现在很难看到，但我将这样做，希望你能看到这一点，如果我选择更平滑，我们将切换到 Savitzky-Golay。
	是的，我想你……希望你看到现在适合那条线，那条平滑线就在那里。
	这是平滑数据的另一种方法，对吧，使用 Savitzky-Golay。 然后您可以将其更改为二次，您可以在此处进行一些局部修剪，然后最终您可以将其保存回数据表。
	我暂时就这样吧。
	对了，记住，我们必须分割这些数据，将其保存回数据表。 我将放弃分割步骤，然后返回数据......原始数据表。
	我不需要那个。
	对，然后当我
	再次查看图形生成器下的数据，
	我可以采用这个标准正态变量组，
	把它放进去。 同样，看起来不太有希望，但我们将绘制平行图，然后右键单击。
	结合这些尺度。
	这基本上就是我们完成的平滑处理了，好吧。 所以我们已经把一切都设置好了。 我们可以再次在这里添加零线，
	如果需要的话。 让我们继续添加它。
	零，我们会把它变成某种绿色，
	就是这个，补充一下
	说“好吧”，然后再说一次，您将使用它来帮助您找出峰值在哪里。
	基于我越过零点时的峰值，好吧。
	差不多了，就是这样。 让我们回到我们的
	微软幻灯片软件。
	所以总而言之，预处理...我们需要预处理数据...预处理数据以使其更清晰，让其更易于使用。
	哪里还有 JMP...
	JMP 正在使这个...
	我们正在努力使这个过程变得更加容易。 JMP 16 中的预处理将由插件和内置功能支持。
	我们期待 JMP 17 的预处理，功能数据浏览器将提供更复杂的光谱和基线平滑选项，以及一些峰值检测和选择。
	对于分析光谱数据，请...我在 2020 年为 Discovery 做过一次演讲
	慕尼黑。 这是一次虚拟演讲，但这将使您很好地了解如何使用 JMP 分析光谱数据。
	说到这里，我要说声谢谢，并希望你们都发现......发现这很有用。 请告诉我。

峰会精选爆发数据访问和操作预测建模