349210_zh-CN

liliconcom

追求“黄金曲线”：FDA和PLS数据系列分析的比较（2021-EU-30MP-742）

级别：中级

 

宝洁服务有限公司高级统计师Beatrice Blum
数据和建模科学首席统计师Phil Bowtell

 

随着传感器在经济上的普及，宝洁（P＆G）大大扩展了其传感器的使用范围，以开发新的更好的测试方法。 传感器在连续的区域（例如时间或位置）上进行离散测量，通常会产生平滑的曲线。 但是，我们从这些传感器数据中提取的指标是平淡的摘要统计信息，例如平均值，总和和积分。 那些被认为代表了与消费者相关的不同产品功能，但是我们很难建立稳固的数学联系。 使用历史方法，我们在此过程中无法衡量有关产品性能的许多信息。 我们建议应用函数数据分析（FDA）（一种数学方法来使样条曲线拟合任何类型的曲线）来提取代表产品特征的区分曲线特征。 通过使用Baby Care的案例研究，我们展示了如何将传感器数据转化为有意义的信息。 此外，我们将FDA与SIMCA中的PLS进行了比较，以了解何时使用每种方法。

我们设想将这些拟合与消费者数据进行匹配将能够创建产品组合格局，使我们能够了解最佳产品性能（所谓的黄金曲线）是什么样的。 最终，我们的目标是通过优化产品组成，针对已确定的与消费者相关的Golden Curves设计尿布，护垫，剃须刀等。

 

 

自动产生的笔录...

 

扬声器	成绩单
比阿特丽斯·布鲁姆（Beatrice Blum）	您好，感谢您加入Phil和我今天的Discovery演讲，瞥见了我出色的2021锁定发型。
	我们将讨论我们如何处理一些传感器数据，为什么要使用功能数据分析（FDA）和偏最小二乘
	（PLS）在我们追赶黄金曲线的过程中。 我的名字叫Beatrice Blum，我是宝洁公司数据和建模科学系的统计学家，为德国的婴儿和女性护理研发提供支持。 我的合著者是英国的Phil Bowtell。 菲尔，您想自我介绍吗？
菲尔·鲍特尔	非常感谢，Bea。 您好，我叫菲尔。 我住在英国，和Bea一样，我是统计学家，是数据和建模科学小组的成员。 而且我支持欧洲的各种技术科学，包括使用Bea进行婴儿护理。 谢谢你。
比阿特丽斯·布鲁姆（Beatrice Blum）	因此，我们今天要介绍的是对已收集数据的快速介绍，以及我们如何根据消费者的响应（收益率1和收益率2）找出不同曲线形状的含义。
	我们将特别注意将两种分析方法与这些数据（PLS和FDA）进行比较，并尝试了解何时使用哪种分析方法。
	请注意，我们在本次演讲中假设您具有PCA，PLS和FDA的一些知识，但是您真正只需要知道的一般概念和数据...如何组织数据。
	但是，即使您不熟悉它，您很有可能仍然可以按照本演讲的过程进行操作。
	因此，您可能知道宝洁公司正在开发和制造尿布。 为了在消费者眼中改善这些尿布及其产品性能，
	我们试图捕捉并了解尿布的重要特征。 特别是在我们的某些测试方法中，我们在不同的位置和不同的状态下向尿布施加液体
	协议或条件，并测量K数据曲线（如左图所示）和P数据曲线（如右图所示）。
	我们假定这些K数据曲线在某种程度上与我们的消费者响应（称为收益率1）相关，并且这些P数据曲线与我们的消费者响应（收益率2）相关。
	因此，让我们首先研究K数据曲线并分析它们，或者尝试借助JMP中的Functional Data Explorer进行拟合。 这样，我将切换到JMP。
	这是我在JMP中的数据表。
	就列而言，这是一个非常有限的数据表。 对于正在研究的10种产品，我们只有一列，即A到K。
	对于这些产品中的每一个，我们都在我们的方法中运行了三个副本。 我将两列合并为一个ID列，它由样品名称和重复编号组成。
	我们随时间收集连续变量的数据，我们的原始信号称为K raw。
	因此，让我们看一下K raw的外观。
	我刚刚选择了两个产品，在本例中为G和I，因为它们的配置文件似乎完全不同。 您会看到，我们在曲线上升的地方有些跳跃，然后在相当……相当平滑的行为中变平了。
	对于试图对光谱数据进行建模而创建的PLS，对于FDA（功能数据分析）而言，增强对于PLS而言并不是什么大问题。
	这将期望获得平滑的曲线以及平滑的导数，如果曲线只是向上跳跃，则可能不会给出。
	这些跳跃与我们应用于尿布的酱汁（？）有关。 还可以看到三个重复项，因此该方法似乎可以很好地重现。
	相当不错。 但是，我们在原始数据中看到很多噪音。 它再次下沉，在这里振荡，我们假设我们将对很多噪声和过度拟合进行建模
	只是因为我们在这里有如此多的振荡。 因此，我们发现它表示在拟合之前对曲线进行了平滑处理，这就是我们在下面看到的内容。 我们通过使用窗口大小为20的移动平均超级样本（？）平滑了曲线。
	有了这个，我会去尝试并适应
	功能性
	组件。 因此，我将变量放入相应的角色中。 我使用平滑的K代替原始数据。 我需要我的ID变量和我的ID函数。 我的X是我们测量K的时间，最终是将这些数据链接到收益率1时我们想要实现的目标
	连续变量，并尝试了解我们的预测曲线与该消费者响应之间的关系。 因此，我将其作为补充角色。
	运行它，从FDE中获取原始输出，通常我只是以拟合B样条线开始，因为它既好又简单，而且速度相对较快。
	可以看到，尽管我们有几千行，但这仅花费了几秒钟。 这样我们就得到了结果。 看起来还不错，但从远处看还不错，但是让我们深入了解一下。
	如前所述，在谈论开发功能数据分析的目的时，期望平滑的曲线。
	实际上，在这种特殊情况下，B样条线只是缝合在一起
	并绕过像这里这样的拐角处，那里没有三次...肯定没有三次曲线，而是行为和转折点的真正变化，
	它必须四处走动，并尝试某种程度地捕捉到该行为，但是您可以看到它的工作确实很糟糕。 尝试代表我们在顶部观察到的这些平稳期的过程也做得不好。
	因此，尽管非常快速，简单，并且在大多数情况下，这是一个非常好的方法
	在上下文中，对于B样条曲线可能不是最好的选择。 取而代之的是
	我在帮助中读了一些书，做了一些研究，发现好吧，如果我们有轮廓数据，如果我们有类似光谱数据的数据，就应该使用P样条曲线。 这就是JMP的建议，因此我们选择了P样条。
	而且因为我真的看到这里有阶跃变化，所以吸引...的唯一方法是通过使用阶跃函数来吸引它。
	而且由于P样条曲线拟合需要更长的时间，因此我对它们进行了预拟合，我们将看看结果如何。
	因此，我们再次查看这里的实际和预测的批次，然后看，哦，他们在使这些转折...转折点和转折点方面做得更好。
	实现向上的一步。 他们还在这里捕获了高原，但以前已经假设是的，他们仍然
	捕获相当多的噪音。 因此，这并不十分顺利。 也许有一个B样条曲线真的很不错
	向下山的退化类型样式。 也许只是在确实需要该区域的步骤上执行P样条曲线，但至少这比我们的B样条曲线拟合要好得多。 因此，让我们看看发生了什么。
	因此，在将我们的不同产品（二维分数图）放在上面的过程中，它做得很好。 我们可以清楚地看到不同产品的复制品如何彼此组合。
	有A；我们有H等等。 它们中的一些不是很好，所以I分布得更远并且与其他人重叠。
	但是，我们可以看到，在原始数据中看到的良好可重复性似乎在这里表现良好。 我们决定去买四个FPC，
	如此处所示。 我们可以看到他们很好地预测了我们的曲线。
	但是，最终，我们的目标显然是看我们的消费者反应如何与不同的曲线相关。 因此，JMP在后台在广义回归中所做的工作是使用Yield 1拟合这四个FPC中的每一个。
	并从中获得结果，现在我们可以看到Yield 1中的变化如何改变曲线的形状；可以清楚地看到向上的股线。
	所以
	似乎相对容易捕获正在发生的事情，所以这是一个非常糟糕的产品，因此肯定有很多，这里有很多稳定的地方，
	而且这似乎要糟糕得多。 因此，我们发现了一些我们认为可能接近收益率1的黄金曲线的东西。
	但是，当我们查看真正从消费者那里收集的数据时，现在不是连续的K，而是按分类规模对它们进行排序。
	我们必须看到，这四个产品从0.31开始几乎是相同的...
	0.031至0.034。 如果我们看一下曲线形状以及它们在左侧的变化方式，我们会发现它们完全不同。
	因此，这并不完全符合要求。您甚至可以说这与我们拟合连续收益率1所看到的完全不符。 因此，尽管这里的消费者反应已经有很大的不同，但通过下面的方法，它们看起来非常相似。
	同样，就我们从连续的案例中所看到的来看，这一案例也没有太大的不同。
	这样我就回到了我的幻灯片平台
	回到我的幻灯片。 在这里，我们可以看到我们如何拟合从FDA提取的数据以适合我们的收益1。
	您实际上可以看到这是一个非常非常好的模型。 太好了，我们总是不得不怀疑这在新数据上是否成立。 菲尔·拉姆齐（Phil Ramsey）和蒂芙尼·拉奥（Tiffany Rao）在2020年《发现美国》（Discoveries America 2020）中提倡的自动验证和模型平均功能，使我们做到了这一点。
	R平方为97，然后R ...按R平方进行交叉验证，R平方为90，对于我们来说，相信它是真的太好了。
	这样一来，让我们看一下Phil在使用PLS查看相同数据时发现了什么。
菲尔·鲍特尔	因此，正如您所说，我们的R平方为97％，印刷机R平方为90。 一切看起来都很好。 让我们看看偏最小二乘与此相比。
	因此，我一直在研究主成分分析，即偏最小二乘，这是我们在拥有光谱或曲线时使用的工具。 这是常用的，因为我们所有的输入都将高度相关，并且
	传统的回归技术不能很好地解决这一问题。 我们注意到的第一件事是，当我们查看Bea在上一张幻灯片中的得分图时
	在演示中，它看起来几乎与您在主成分分析中获得的结果完全相同，因此我们可以在其中看到一些常见的链接。
	当我运行偏最小二乘时，我看到的是R平方的73％，
	不及97。 而且，如果您将观察值与预测值进行比较，
	我们确实看到了看起来合适的产品，但是显然产品B产生了一定的影响和不适当的影响。
	在JMP和SIMCA中，我们有交叉验证度量Q的平方，该值低至33％。 因此，这并不是一个很好的模型。
	这是根据我们拥有的原始平滑数据完成的。 您可以尝试其他转换，但实际上我们无法建立一个好的模型。 当然，没有什么可以与FDA竞争。
	但是，我们从模型中得到的一件事是系数估计。 我们还获得了称为VIP的数量，这些数量使我们对曲线的哪些特定区域感到兴奋或告诉我们预测的进展情况有了一个概念。 所以如果我只是覆盖
	这里是原始数据图上的VIP和系数，绿色突出显示了对预测有重大影响的区域，这对模型有贡献。
	橙色中等，不是很多。 灰色很低，这实际上是在告诉我们，从预测的角度来看，第一个峰实际上并没有太大的影响。
	因此，继续来看另一组数据。 这是p数据曲线，这里我们已经收集了这些曲线。
	在三个位置有四个条件，可以称它们为协议或条件。 我们还有第五种协议或第五种条件，但这仅在位置1处采用，此处未作图。
	我们所拥有的是左侧的位置1，右侧的位置3，顶部的条件1向下至底部的条件4。
	需要注意的是，这些曲线非常相似。 我们确实看到一些细微的差异。
	但是，提出的一个问题是，我们是否需要所有这些曲线？ 他们都需要吗？ 或者，也许我们取一个子集，并使用这些子集来帮助我们理解数据。 因此，我所做的就是拿走所有产品并按顺序绘制它们。 所以我有位置1
	条件1，一直到位置3，条件4并绘制数据。
	我们可以立即看到一些共同的趋势。我们还可以看到一些差异。 因此，我们所有人一直……我们看到这里有三种产品似乎与其他产品相去甚远。
	因此，我们有一些产品差异化。 如果我查看不同的条件，我可以看到，显然，随着我们改变条件，这里的这些产品肯定也在发生变化。
	当我查看位置时，似乎影响不大。 让我们看看是否可以更详细地研究这个问题。
	因此，通常对于任何多元数据，您要做的第一件事就是从字面上将其投入主成分分析中，看看是否有任何结果。 因此，这是一个探索性的数据分析工具。
	而且，如果我看一下得分图，我已经获取了您刚刚看到的所有数据，将其放入包装中，它是主要部件，按产品颜色进行编码。
	我们可以立即看到，产品D，G和H似乎与其余产品背道而驰。 我们这里有3个产品，这里有7个产品。
	当我们与开发这些产品并制造这些产品的人们交谈时，这是很有意义的。 因此，数据实际上突出显示了我们期望看到的东西是很好的。
	然后，我按不同的位置突出显示，而我在这里实际上看不到任何模式。 我认为您必须非常冒险才能说出正在发生的事情。
	但是，当我根据不同的条件进行着色时，确实会看到一些图案出现。 如果我看一下这里的三种产品D，G和H，
	我可以看到，当您从右向左移动时，我们看到了从条件1到条件4的转变，这里的七个产品也是如此。 条件5位于中间，这又是我们期望的，因为它实际上是不同的测量设备。
	因此，从探索的角度来看，我们可以看到这些差异。 让我们看看是否可以从更统计的角度看待这个问题。 在本示例中，我将重点关注位置3，并查看位置3中的四个条件。
	为此，我将使用多块正交分量分析，这有点耗时，因此仅将其简化为MOCA。
	而且，我还将研究分层建模，但我不会这样做...在本次演讲的背景下讨论太多，我将重点关注... MOCA和这是我们在统计数据包SIMCA中找到的两种技术。
	现在的想法是，我们查看数据块，传统上每个数据块代表一种测量某种化学或某种产品的不同方法。 例如，我们有近红外，红外和拉曼光谱。
	我们旨在与MOCA和分层建模一起进行的两件事首先是评估冗余。
	可能是我只需要使用近红外和拉曼光谱进行预测，实际上，如果我知道近红外并且知道拉曼，那么我实际上可以预测红外或它是多余的。
	这就是要看的内容，但是要注意的一件事是，当我谈论冗余时，并不能自动意味着我可以丢弃该特定的块。
	因为它本身可能会增加预测。 因此，这是冗余和可预测性之间的平衡。 正如我们已经看到的，如果我在这里查看这些图表，可能看起来有些多余。
	那到底是怎么回事？ 好吧，让我们从重叠的角度考虑一下。 我有位置3，并且有四个条件。 为了表示重叠，我有一个很棒的维恩图，我们可以真正开始尝试理解我们所拥有的信息。
	信息的第一要点是全球联合信息，这是我们拥有所有四个条件共有的信息的地方。
	然后，我可以获得只有两个或三个条件共有的信息，即局部联合信息，如此处橙色突出显示。
	最后，剩下的就是唯一的信息，这就是不同条件本身给政党带来的影响。 那么在这里可能会看到什么呢？
	好吧，左侧将指示一种情况，其中四个条件实际上具有大量独立信息。
	我们可能会认为，这里不会没有任何冗余，我们必须保留所有这四个。
	右边的图像中，我们拥有大量的全球联合和本地联合信息，而没有那么多的唯一信息，这可能表明我们可能会有冗余，并且可能是我们只看其中一个或两个而已。条件，而不是全部四个。
	关于SIMCA所做的事情，
	它进行了一些建模，我们得到了四个条件，并拟合了四个组件，其中两个正在查看关节组件，其中两个正在查看唯一组件。
	总体而言，我们解释了数据的许多可变性。 我们可以从顶部的数字中看到，这些数字几乎解释了100％的可变性。 这是好事。
	绿条正在查看全球联合信息，我们可以看到，它们确实很大。我们有很多。 所以
	这只是告诉我们，这四个不同条件之间存在大量重叠。
	如果我查看橙色的本地联合信息，则在条件2，条件3和条件4之间会有一些信息。 不大
	最后，我们可以研究每个条件下每个独特信息所具有的独特贡献，这是非常小的。 因此，在这里我们几乎可以肯定会有一些冗余。
	我们还可以调查产品的独特性来自何处。 因此，此处气泡的大小指示其是否唯一。
	现在，如果我们没有唯一性，我们将得到很小的气泡，例如，产品I和F很小。 我们希望，如果我们逐个查看这些内容，那么这里只会有很多绿色的绿色条。
	如果看产品H，我们会看到更多的独立性。 它告诉我们，对于条件，有一些独立的信息就足够了。
	虽然这不是一个大泡沫，但根本没有，实际上，看起来好像有很多冗余。 因此，接下来要做的是，我们已经考虑了所有13种可能的条件和位置，运行了MOCA分析以及分层模型，
	然后，这告诉我们，理想情况下，我们需要在位置1和3处满足第一个条件，并在位置1处满足第五个条件
	这确实与我们所说的不符。 你知道，我们刚才说过，
	您知道条件有所不同，位置也完全没有不同。 嗯，不完全是，根据预测，显然有些事情发生了，
	但是我们已经能够将13种不同的组合降低到4种，并且模型相当好，R平方为85.5
	Q平方为69.3。 交叉验证措施还不错。如果这两个距离更近，那就更好了，但是至少我们要在此处对数据建模，在这种情况下，Yield 2比以前使用P数据要好。
	因此，我将回传给Bea。
比阿特丽斯·布鲁姆（Beatrice Blum）	谢谢您，菲尔（Phil），您可以提供这些超级有趣的见解。 现在，让我们看看FDA对P数据做了什么，以及我们可以从中得到什么。
	与菲尔向我们展示的内容类似，我们可以看到，作为一个因素，地理位置（如您所言）的影响不如四个不同条件那么大。 因此，它们对结果的影响更大。
	我们也可以看到，这很有趣，当我们以74和72来看这两个性能最好的产品时，
	它们是曲线，是相应的预测曲线，它们看起来差别很大，甚至比我们在K曲线中看到的差别还大得多。
	因此，如果我们要寻找黄金曲线，并尝试找出真正性能最佳的配置文件，这将给我们带来困难，因为很难找到这两条曲线之间的共性。
	所以问题是，我们必须追求的是，在已经表现良好的曲线之间是否存在一些黄金曲线或平均曲线？
	我们还不能回答。 我们也无法回答是否存在任何冗余，或者我们真的需要从中衡量什么位置条件组合。
	但是，当我再次从这些FDA中提取摘要并尝试建立模型并预测收益率2时，我再次获得具有R平方为98并按R平方为97的超好模型。 是的，我们确实已经知道这太好了，难以置信。
	另一方面，我们确实尝试使用曲线的其他提取值（由测量部门提供给我们）对相同的收益率2进行建模。
	但是，尝试对这些提取的值进行建模并预测收益率2根本没有结果。 我们可以达到的R平方甚至与我们在这里获得的R平方不相近。
	因此，我们确实认为正在发生某些事情，并且在尝试了解如何建模收益率2方面迈出了巨大的一步。
	因此，让我们总结一下我们发现的内容。 我们已经看到，这两种模型或两种方法都导致非常相似的主成分，并且它们在从K曲线和P曲线提取的共性方面是一致的。
	FDA可能只需使用少量数据即可使用起来更容易一些。 它使我们能够根据收益率1和收益率2预测曲线形状，这确实使我们对黄金曲线的外观有所了解。
	它还表明保持哪些测量实用因素似乎更为重要。
	我们能够为收益率获得非常好的模型，但是对这些模型提出了深刻的质疑。
	目前，我们无法提取出最适合保留的位置条件组合。 这就是我们要跟进JMP的事情。
	另一方面，PLS并不能为我们提供关于曲线的哪些部分在区分我们的产品方面最有用的信息。
	MOCA和分层PLS还为我们指明了需要遵循的测量协议，以便从我们的P曲线中捕获最相关的信息。 就拟合度指标而言，用于预测产量的PLS模型似乎比FDA模型更合理。
	我们的共同努力帮助我们找到了明确的模式来区分我们的产品。 无论是PLS还是FDA，我们都可以，
	从迹线中提取基本特征，并为我们的产量计算良好的预测模型。 我们还了解到曲线的各个方面以及哪些协议最有意义。
	与过去相比，我们成功地对收益进行了建模或预测。 这是向前迈出的一大步。
	实际上，这是一个很好的例子，太多的厨师没有把汤汁弄糟。 两种方法在一定程度上都可以达成共识，但在彼此不同的地方，它们也会给出不同的附加信息。 工作正在进行中；我们将从这里扩展。
	特别，
	我们将添加新的独立数据以验证或改进模型。 我们仍然需要微调我们需要保留哪些协议，以提供最相关和最少冗余的信息。
	这就是我们希望JMP能够在FDE平台中实现这一点的地方。 我们的最终目标是了解尿布的哪些材料成分
	将得出哪些曲线形状以及这些曲线形状与消费者收益之间的关系。 在追求黄金曲线的过程中，我们取得了良好的进展，并为最终完全抓住它感到兴奋。
	因此，我们感谢您的关注，现在可以提出问题。

最佳峰会爆发数据探索预测建模