349268_zh-CN

liliconcom

用于分析的预处理光谱数据（2021-EU-30MP-787）

级别：中级

 

SAS JMP高级全球支持工程师Bill Worley

 

预处理光谱数据是为任何数据分析工具准备要分析的数据的重要第一步。 我们将审查并演示使用JMP进行标准正态变异（SNV）和Savitsky-Golay（SG）平滑。 这些预处理工具在整个行业中都是相当标准的，并且是使用原始光谱数据构建预测模型的第一步。 特别感谢Ian Cox分享了他的SG加载项。

 

 

自动产生的笔录...

 

扬声器	成绩单
比尔·沃利	大家好，我是JMP系统工程师Bill Worley。 我在JMP待了将近7年。 今天我们要谈论的是
	预处理光谱数据以进行分析。 之所以称其为前传，是因为我已经讲过在JMP中分析光谱数据的话题，但是预处理是重要的第一步，并将向您展示原因。 让我们开始吧。
	因此，让我们在这里谈谈摘要。 预处理光谱数据确实是准备数据（任何数据）进行分析的重要第一步。
	我们可以与您讨论...我们将回顾该演示并演示JMP中的标准正态变量和Savitzky-Golay平滑工具。 这些是整个过程中相当标准的预处理工具
	化学界，化学工业以及实际上是任何从事光谱学和分析光谱数据的人。 他们会知道...
	有关标准正态变量Savitzky-Golay及其使用方式的更多信息。 因此，这再次是帮助您从原始光谱数据构建预测模型的重要第一步。
	因此，仅需很少的背景光谱数据就很混乱。 在构建这些预测模型或您可能要构建的任何预测模型之前，预处理可用于帮助平滑和过滤以及对基线进行校正。 Savitzky-Golay滤波和标准正态变量
	是具有...在JMP中使用的工具。 Savitzky-Golay是由Ian Cox开发的插件，因此...感谢Ian的帮助。 标准正态变量需要...
	某种公式，我们将向您展示如何将其构建到JMP中。 最后一行是... Graph Builder还是用于可视化光谱数据的宝贵工具，可以用作平滑数据的替代平台。
	但是，随着我们深入讨论，我们将再次讨论这一点。
	我们为什么这样做。 您为什么要进行任何预处理？ 好吧，如果您看一下，首先是那里的最高光谱或光谱组，那是来自100个光谱的原始数据，您真的无法分辨出两者之间的任何区别。
	您知道的是100％淀粉或100％面筋的混合物。 您会看到一些差异，只是看不到...您无法分辨出什么是什么。 出色地，
	从那里开始，我们进行Savitzky-Golay平滑和滤波，然后采用一阶导数，这将为您提供更加清晰的光谱集，
	分组良好，但仍不完全符合您的意愿。 然后，最后，在执行了标准正态变量平滑处理之后，光谱更加清晰，更容易看到峰的位置。
	您会看到差异在不同光谱组中的位置。 因此，这些红线到灰线到蓝线的每一个都有20个光谱，它绝对干净得多。 您可以看到不同混合物的峰在哪里。
	好的，使用Savitzky-Golay滤波时，它是提供给光谱数据以进行平滑处理的数字滤波器。 这样做的好处是它不会改变整体光谱本身，峰的位置以及类似的东西。 因此，这是一个不错的工具。
	它使用卷积进行平滑，并且基于线性最小二乘法公式。
	一阶和二阶导数也...您还可以从平滑信号中驯服那些。
	并且也可以对光谱两端的任何不重要的数据进行过滤。 如果您遇到的情况是一开始就有一些东西，那只是不重要的，并且只会在前进时弄乱您，而在另一端则是一样。
	借助Graph Builder，您甚至可以进行Savitzky-Golay无法完成的内部平滑或内部过滤。
	加入。 因此，您可以将本地数据过滤器与“图形生成器”一起使用，并进一步定义感兴趣的区域。
	所以，
	我们继续。 Savitzky-Golay
	分析是我们已经完成了...完成...如果我们进行分析，这是一组光谱。 这样我们就顺利了
	一阶导数，现在扩展了一点。 然后我们将零线放到那里。 借助一阶导数，您可以
	根据零点是或零点的交叉点来确定峰的位置，这样您就可以了解任何给定峰的位置
	一组光谱，一组光谱。 对于二阶导数，现在有所不同。 它有助于平整基线，然后，如果峰重叠，则可以帮助您
	进一步发展或更好地了解那些重叠的位置，您会从正数变为负数，这表示峰重叠以及它们可能在何处。 好的，这就是您使用该工具的方式。
	标准正态变量本身还是关于各个光谱的数据标准化。 它可以单独使用，也可以作为附加的平滑工具使用，今天我们将其用作附加的工具。
	用过...
	它用于基线偏移校正和全局强度变化的校正。 不错的是，它消除了基线变化，而没有改变光谱的形状，对。
	数据就是这个问题，当我们这样做时，您会看到，数据必须被堆叠，好了。
	好吧，这只是公式之一
	可能会用于设置标准正态变量公式，我将向您展示如何做到这一点。 有两种不同的方法，但是涉及到一点点，我将向您展示如何做到这一点。 这里重要的是
	我们在这里为标准化的色谱柱提供了标准公式，但必须确保我们按变量使用它，这就是光谱本身。 所以
	加上一点技巧。
	是的，因此，如果仅对原始数据执行标准正态变量，则结果将是这样。
	我们可以看到分组，也可以看到事情的爆发方式，但是如果我们在执行一阶导数之后执行了标准正态变量，那么它将更加干净。 您可以更好地了解光谱在哪里或在哪里重叠，在哪里知道，
	在这里您可能需要做些...第二阶导数将起作用，在此处可能有重叠的峰，对，
	也许回到这里 所以
	这就是真正帮助您更好地了解所见事物的地方。 零线再次表示，当您越过该零线时，零线表示峰值，在该峰值使用一阶导数。
	好了，让我们进入一个演示。
	好吧，滚出去。
	因此，让我们先谈谈可视化数据...首先是数据。 请记住，每当获得一组新数据时，最好的办法就是将其引入并可视化。 您知道，对这些数据进行绘图，可以更好地了解您所面对的情况。 让我们下去这里拉起
	我们的面筋原始数据。 是的，所以我们已经导入了数据。 现在我们需要对其进行一些可视化，让我们来做...让我们进入Graph Builder。
	对，我们要做的第一件事，
	将其向上移动一点，转到原始数据。 对，现在我们要解决这个问题。
	这就是点数据，这就是我们……在进行任何平滑处理之前，进行任何其他操作之前所看到的内容。 那就是行数据，如果我可以将其更改为
	平行图，对，这给了我光谱的线数据。 同样，我们看不到那里发生了很多事情，但是它使我们更好地了解了事情将要发生的地方。 我可以做到...
	我们可以在这里做一些事情，叫做...如果需要的话，并且您将看到其他数据，这个并行合并。 但这并没有改变任何东西。 它并没有像您将看到其他一些数据那样将所有数据组合在一起，所以我将关闭它。
	正确，当我在可视化数据时喜欢使用的其他一些工具是模型驱动的多元控制图，让我们首先进行操作。
	因此，我们去分析，质量和过程，以及模型驱动的多元控制图。
	向上移动。
	是的，我没有任何历史数据，所以我说好。 这使我们能够做的是，查看数据并说，好吧，
	我们可以看到光谱的分组，对。 在大多数情况下，这就是...只是要指出这一点，
	我们能够解释所看到的大多数变体，至少有两个主要成分的变体高达85％，可以。 那就是用这个??? T平方
	我们在这里获得的信息。 而且这还告诉我们，对于给定的光谱，事情可能会失控。 为什么与其他人不同？
	因此，如果我将鼠标悬停在这些要点之一上，就可以解决问题。 如果我将鼠标悬停在失控点之一上，请再次将其拔出，
	现在我们可以看到，哇，那些真的不同，你知道的。 您必须更好地了解此光谱，这与我们有所不同。 在这种情况下，我们已经有了更好的理解，因为我们知道它们是混合物，但是我们希望看到这一点。
	我们也把它拉出来。 好吧，那又是一回事。 因此，在这三个光谱之间，我们有各种各样的混合物。 因此，我们有……三个小组中的三个，我们也可以将其他两个小组放在那儿，看看。 但是，我们暂时将其保留。
	好的，这就是模型驱动的多元控制图。 我喜欢使用的另一个工具是...它在多变量方法下，称为多维缩放。
	我喜欢使用它的原因是，尤其是对于像这样的系统，
	是我们有
	再次，我们的原始数据，我们需要...
	让我先进行设置，我会告诉你。
	我们在这里有两个维度，对，这只是基于我们之前看到的内容，但是我喜欢使用的原因是，这使我们能够对数据本身进行一些分组或可视化某些分组。 好吧，
	让我们做到这一点。 这需要一秒钟的时间。
	我们可以看到，我们有五个不同的光谱组，所以，每个光谱组都与一组淀粉和面筋的混合物有关。 如果我在这里突出显示该分组，那是第一组，这就是全部100％淀粉。
	中间组是50/50混合，下面这组是100％面筋。 是的，所以这样做还可以突出显示数据表中的数据，就像那里显示的那样，以便
	互动性也很好。 这也向我们显示，我们正在做的相当不错……已经能够突破不同群体的含义。 如果我们看一下谢泼德图，
	我们有1的R平方
	直线，好的。 再次，这是一种可视化它的好方法，并且您可以使用它做更多的事情，但是我们将再等一遍。
	好的，到目前为止，
	我们已经将数据导入，我们将其可视化了，现在，我们需要进行一些预处理。
	而且我们要做的是，或多或少都有这些占位符，所以我们将做一些Savitzky-Golay分析，并且至少在第一个例子中我们将做一些标准的正常变色石派生的，好吧。
	好吧，让我稍微整理一下。
	是的，关闭它。
	再一次，我们将获取原始数据，并使用Savitzky-Golay加载项进行分析。 所以这对我来说是外接程序。
	而且这是一个免费的插件，因此您可以获取它，我们将为您提供它。 这又是一次，我们将获取原始数据，
	是的，如果您想了解更多有关Savitzky-Golay的内容，我们在这里有Wikipedia链接，您可以使用它。 但是我们将使用它来帮助平滑每个波长的数据，然后取一阶和二阶导数。 我说，好的。
	到此为止，我们已经获得了平滑的数据。
	而且，有一件事，您可以根据需要进行调整，但是我们想要做的就是接受这一点，
	扩大那个窗口一点点。
	Alrigh。
	做那个。
	您可以在这里使用多项式，多项式拟合的顺序。
	在这种情况下，使用八阶多项式实际上并没有多大区别。 第二个...第二个命令就可以了。 好吧，然后我们可以从一阶导数中获取数据。
	说正确的保存数据，我们可以将其保存回数据表中。 而且我已经做完了，所以我不必向您展示该过程，而只是知道然后将数据从那里取回数据表即可。
	让我们结束这一点。
	好吧，我们现在可以出发了，但是现在我们需要做最后一步，对。 因此，让我们先看一下...在我们去那里之前，让我们回头看看
	我们的Savitzky-Golay数据。 因此，这是一阶导数数据。 我再次想看看
	图生成器，对。 看到的是……在那看起来并不十分有希望，但让我们做平行绘图，
	使它更好一点。 清理它，然后让我们进行合并的比例并行合并，这会将数据带入更多
	视觉...比以前更好的视觉效果，对。 我们可以进行...打法，然后再次在此处添加自己的零线，以更好地了解峰的交叉点。
	但这就是一阶导数数据。 是...您可以看到这些组，但是它们并没有完全分开，就好像您真的希望让他们有一个更好的主意，好吧。
	所以我们就在那里。 该数据返回到数据表中。 我将结束讨论，然后记得我说过的，您必须为...堆叠数据以执行标准正态变量，因此我们需要这样做。 让我们首先在这里子集一些数据。
	好啦
	所有这些子集。
	桌子。 子集。
	所有行。 选择列，然后说好。 好了，现在我们可以去那里了。
	正确的。
	好吧，至少，我们是……我们已经分离出了数据，对。 现在我们要做...正确地存储数据。 同样，这是为了能够将过滤器放入公式所需的所有数据中。
	因此在表格下。 堆。
	这些是我们要堆叠的列。
	正确，并逐行堆叠。
	我将选择我们要保留的列。
	最重要的是。 之后，
	对不起...我只是单击以获取此设置，但是您会明白的。 我会花一秒钟的时间让大家看看到达那里需要什么。 所以我保存了这个。
	您知道的，现在看到无标题的12。 是的，这是我们的堆叠数据，现在我们可以执行该标准正态变量。 一种快速的方法是创建一个新列，
	右键点击。
	我必须从此处通过公式编辑器构建此公式。 我将使用称为
	专栏标准化，对。 如果我将鼠标悬停在此上，这将使您对您正在执行的操作有所了解。 标准化意味着什么，对。 所以我们要...
	平均值为0，标准偏差为1，因此这就是我们要根据数据以及所有给定光谱获得的结果。 所以我们需要获取数据
	时不时地记得我说过我们必须添加该双变量，在这种情况下，它将成为频谱。 我要说好。
	好了，这给了我们一个数据集。 现在有一种更简单的方法可以执行此操作，或者我认为这是一种更简单的方法，但是也可以...
	有时会花费一些时间。 但是，如果我再次在此处右键单击光谱，请记住我正在执行此操作，因为我们需要一个双变量。 因此，我将转到新的列信息并进行分组。
	我将使用数据列，然后右键单击该列，然后创建一个新的公式列。
	我们将滑到发行版，并记住并标准化。 我们...所以我们想要那个
	均值为0;标准偏差为1。 选择该内容，然后构建该新列。 这样做的好处是数据匹配，因此我松了一口气，以确保正确。
	是的，所以我知道了。 现在，这需要从这里开始，我要单击该列，
	我们获取这些数据，将其拆分，然后将其放回常规数据表或初始数据表中。 我想向您展示的一件事是
	一旦将数据堆叠起来，就可以进行其他一些可视化处理。 因此，如果我...回到图形生成器右侧，我想获取此数据
	进入
	是的，然后我要贴标签，这是一种查看所有变化在哪里的好方法。 这些都是
	您知道，箱形图显示的位置...您正在查看数据的变化，因此，这是一种能够可视化正在发生的事情的非常好方法。
	使用Graph Builder的另一种有效方法是在这种情况下必须堆叠数据。 现在，您还可以做的是
	如果您输入点数据，让我们先将其删除，然后将点数据放入其中，然后进行一些平滑处理。 现在这是一个个体平滑，因此这是每个数据的平均值。 我们想做的就是那样做
	Savitzky-Golay平滑，所以我需要拉入
	叠加层，对。 这就是所有数据。 现在将很难看，但是我要这样做，希望您能看到，如果我选择更平滑，我们将切换到Savitzky-Golay。
	是的，我认为您...希望，您看到的是现在就适合那条线，那条平滑线就在那儿。
	这是使用Savitzky-Golay平滑数据的另一种方法。 然后您可以将其更改为二次方，可以在此处进行一些局部修整，然后最终可以将其保存回数据表中。
	我现在暂时不讨论它。
	没关系，请记住，我们必须拆分这些数据，然后将其保存回数据表中。 我将放弃拆分步骤，然后仅返回数据...原始数据表。
	我不需要那个
	对，然后当我
	在“图表生成器”下再次查看数据，
	我可以参加这个标准的正态变量组，
	把它放进去。 再次，看起来不太有希望，但是我们将进行平行绘图，然后单击鼠标右键。
	合并那些秤。
	基本上，这就是我们完成的平滑。 这样我们就完成了所有设置。 同样，我们可以在此处添加零线，
	如果需要的话。 让我们继续添加。
	零，我们将其变为绿色，
	就是这样，添加它。
	说好，然后再次使用它来帮助您确定峰的位置。
	基于我越过该零点时的最大峰值，好吧。
	就是这样。 让我们回到我们的
	微软幻灯片软件。
	因此，总而言之，预处理...我们需要预处理数据...预处理数据以使其更干净，更容易使用。
	还有JMP ...
	JMP正在做这个...
	我们正在努力使这一过程变得更加容易。 插件和内置功能将支持JMP 16中的预处理。
	我们期待JMP 17进行预处理，在Functional Data Explorer中将提供更复杂的光谱和基线平滑选项以及一些峰值检测和选择功能。
	为了分析光谱数据，请...我在2020年为发现号做了一次演讲
	慕尼黑。 那是一个虚拟的演讲，但这将使您对如何使用JMP分析光谱数据有个好主意。
	借此，我要说声谢谢，希望大家都发现...觉得这很有用。 请告诉我。

最佳峰会爆发数据访问与操作预测建模