756786_zh-CN

liliconcom

使用函数数据探索器中的直接函数主成分分析 (2021-US-30MP-913) 分析函数数据

Ryan Parker，JMP 高级研究统计开发师

JMP Pro 16 中的函数数据探索器 (FDE) 新增了直接函数主成分分析 (DFPCA) 建模选项，无需先拟合基函数模型即可进行函数主成分分析。这种方法不仅使大型函数数据更易于处理，而且还提供了一种更自动化的函数数据分析方法。本演示详细介绍了 DFPCA 的工作原理，并通过示例重点介绍了如何以及何时使用 DFPCA 分析函数数据。

自动生成的成绩单...

扬声器	抄本
布伦丹·利里	你说得对。
Ryan Parker，JMP	你是。
	这里。
	我很好。
	你能听到我说话。
布伦丹·利里	我能听到你的声音，好的，你能听到我的声音，好的。
	是的，很好，你的音频很好，很高兴见到你。
	显然，这样做，你是为克里斯工作。
	我真棒。
Ryan Parker，JMP	首席数据科学家对，所以我有这个权利。
布伦丹·利里	这是一个很大的标题。
	就在那里。
	是的。
布伦丹·利里	您是一位高级研究统计员，我环顾四周，我想我曾经见过您，但我还没有机会见到您，所以很高兴见到您。
Ryan Parker，JMP	那么你在哪里？
布伦丹·利里	我将以新泽西为基地，带你前往纽约和新泽西的项目。
	惊人的。
布伦丹·利里	我在这个领域玩得很开心，而且我可以展示你们建造的所有好东西。
	我认为你很完美。
	因此，当我们开始时，我只想说几件事。
	让我们首先看看，如果您的所有手机电脑通知都关闭了，您的麦克风看起来不错。
Ryan Parker，JMP	喜欢。
	请勿打扰，是的，让我再检查一下电脑。
	是的，不要打扰一切。
布伦丹·利里	好的，我没有听到任何关于您是否有风扇或任何东西的消息。
Ryan Parker，JMP	是的，但是你听不见。
	不。
布伦丹·利里	你有任何宠物甚至都被带走了，所以不行。
Ryan Parker，JMP	那就只是。
	只是小孩子，但他们不会在身边。
布伦丹·利里	发生了一起与狗有关的事件，这是我最后一次发生这样的事件，我只能说这些。
	好的，好的，让我们看看你的显示器，嗯，你使用的是 Windows 还是 MAC。
	MAC，您知道您的显示设置是什么吗？如果是在 MAC 上，那么可能没问题，通常他们要求 1920 x 10。
Ryan Parker，JMP	这。
布伦丹·利里	只是为了解决，但我想这很好。
Ryan Parker，JMP	是的，应该可以，好的，我。
布伦丹·利里	想要展示您将要使用它来记录 JMP 日志，还是也使用 PowerPoint。
Ryan Parker，JMP	所以我只会共享桌面，这是最好的方法。
布伦丹·利里	是的。
Ryan Parker，JMP	或者你喜欢分享。
	一次一个地隐藏缩放可能是最简单的方法。
	那么让我们从这个开始看看它是什么样子的。
布伦丹·利里	伟大的。
Ryan Parker，JMP	好的，快速拍摄这张幻灯片只是为了确保没有出现任何奇怪的事情。
布伦丹·利里	你知道时髦的动画很棒。
Ryan Parker，JMP	是的，没有奇怪的动画，然后我只需转到 JMP 和设置的开放状态。
	并从那里发射。
布伦丹·利里	完美，好的，我看起来我觉得我们很好，我说，我提出的唯一另一件事是，在你进入并开始之前，我们要详细记录它，你知道的。
	所以如果你犯了错误，或者你想重新开始。
	但在开始之前，请花几秒钟时间在脑海中从三或五开始倒数。
	好的，开头和结尾处有一点空白，这样你就可以翻转它。
Ryan Parker，JMP	好的，当然可以。
布伦丹·利里	这就是我所得到的全部，所以我要继续并静音，最后，我在 JMPs 工作，我认为我不必这样做，但为了安全起见，我还是要读一下。
	您了解该录音将供 JMP 发现夏季会议使用，并将在 JMP 用户社区中公开发布，您是否允许我们使用该录音。
Ryan Parker，JMP	我确实喜欢，请分享。
布伦丹·利里	广泛报道，以防万一只是珀金森不能生我的气，我问道。
Ryan Parker，JMP	是的，你知道某些配偶会问你做了什么。
布伦丹·利里	你知道我知道我知道。
	很酷，瑞安，谢谢你，我将在你的脑海中进行静音倒计时，当你准备好时，就开始吧。
Ryan Parker，JMP	好的，我想你知道，这个时间大约是 20 分钟。
	因为我认为总共是 30 个，然后他们想给一些。
	加时赛。
布伦丹·利里	是的，简洁是完美的，嗯，你给了 Q amp a 时间，这听起来很理想。
Ryan Parker，JMP	好的，太好了。
	听起来很棒。
	好的，谢谢你今天来。我叫瑞安·帕克。我是一名
	直接函数PCA。
	这是一种分析函数数据的新方法。我想感谢我们的首席数据科学家 Chris Gotwalt 不仅在 FDE 的开发中发挥了重要作用，而且
	还有这个新工具，以及我们的 Rajneesh 测试团队，他们的工作通常不被注意，但却是我们今天所取得成就的重要原因。
	因此我不会假设您使用过 FDE 或者您甚至不知道什么是函数数据。
	所以，我们先从头开始，确保大家的理解一致。函数数据……实际上，我们把它看作任何有输入X的东西，在这个例子中，我们有一些温度数据。我们的输入是周数，所以这些数据是测量的
	一年中的每一周。我们的输出 Y 就是这个温度。
	所以，你知道，你可以进行采样来找到解决方案，也许是每天，或者每小时，但一般的想法是你还没有完全采样，你知道，
	整个函数。你有一些方法来处理它的一些样本。实际上在所有情况下
	我们关心的是，虽然你可以使用一个函数，但我们也希望考虑多个函数。所以我们有多个气象站，每周都会记录温度。
	因此，尽管我们每周都在这里填写，但我们不一定需要具有 FDE 的功能，因为您可以拥有某些月份的样本点，或者没有......它们可以在不同的时间位置进行采样。
	但你知道，你的输入不一定是传统意义上的时间。也许是温度，然后你就能得到清晰的测量结果作为输出。
	你知道，所以我们支持这一点。
	这实际上是一种映射：有输入就有输出。或者，假设你处于光谱环境中，输入是波长，输出是强度。
	我将用一个例子来说明直接函数式 PCA，我们有多个数据流、多个函数，所以我们不仅有，你知道，
	不同的……不同的函数，但我们有不同的输出。你知道，我们有电荷、活塞力、电压和真空，我们想把所有这些结合起来。
	并对其进行分析。
	因此，这些类型的数据有助于推动功能数据探索器的开发。
	我们主要有两个问题……
	我们通常用它来回答。第一种是在功能性实验设计中。在这种情况下，我们有一些因素，我们想尝试关联它们
	到我们的响应函数。所以在这个例子中，我们真正感兴趣的是如何让这个响应函数以某种方式成形。
	因此，我们可以将这些因素与功能联系起来，在这种情况下，我们希望......我们的功能尽可能长时间地保持在绿色规范区域，而通过 FDE，我们可以......我们可以帮助做到这一点。
	另一个常见情况是我们所说的功能性机器学习，在这种情况下，我们希望更多地将我们的功能视为
	输入到某物。所以在我们的过程中，我们可能得到最终结果，或者最终产量，比如这个发酵过程的数据。
	因此，我们想总结一下这些函数的形状。将它们作为预测模型的输入，以帮助找出能够带来最佳结果的方法。
	因此，实际上，您要尝试玩的这个大游戏是功能性 PCA，而功能性 PCA 所做的就是总结我们的数据。
	所以我这里有一个非常简单的例子，从中可以很容易地看出它们都有不同的配对斜率。
	每个人的均值可能略有不同，可能比较难看出。所以我们的目标是尝试总结一下。
	使用一个简单的案例来说明如何将其扩展到更复杂的情况。
	因此，当我们进行???组合时，我们将得到正交的特征函数，这些函数将尽可能多地解释函数之间的变化。
	一旦我们有了这些，我们就可以用它们从所有这些函数中提取摘要，
	可以用于预测建模。所以我们取一些非常复杂的形状，在这个例子中，它不是超级复杂，但我们会从我们现有的大约10个数据点中，将其概括为几个数据点。
	这就是……特征函数的样子
	这些数据。所以我们提取了两个。第一个解释了大约 77% 的变异，并且它对最开始和最结束的时间段赋予了最大的权重。第二个
	正如你所料，它总结了这些数据的斜率。而第二个特征函数对整个输入赋予了相同的权重，这就是量化平均值的差异。
	现在我们要转换这些特征函数，将它们用于我们的数据，并得到一个简短的总结，以便解释这些函数之间的差异。所以
	以函数2为例，我们将该函数乘以第一个特征函数。我们会得到一个包含大量负数的函数。
	因此，如果你想想，你知道，对这个数进行积分，就是把所有的负数加起来，你就会得到一个相当大的负数。
	所以，我们可以看到第一个分量是如何真正捕捉差异的。所以，数字 10，对，是一个很大的正数，所以我们可以……我们可以在数据中看到，它也有一个很大的正斜率。
	对于第二个组成部分，也有类似的想法，即我们有较高和较低的总体平均值。
	一旦我们有了这两样东西，我们就可以回到我们原来的功能。
	加上总体平均值，我们只需取第一个函数主成分得分，看函数 1。我们将其乘以第一个特征函数
	然后我们加上第二个函数主成分得分，乘以第二个特征函数，然后
	这将重新创建第一个。在类似的过程中，使用第二个函数的分数可以让我们
	重建或近似这些函数。所以你可以看到，如果我们能够为这些 FPC 分数建立模型，
	我们可以了解 DOE 因素如何改变它们，在这种情况下，这会改变我们的 alpha 函数的形状以及我们所研究的第一个场景。
	那么，我们来探讨一下为什么要使用直接函数式 PCA？这样做的动机是什么？如果你以前用过 FDE，
	我们现有的建模选项被认为是基函数模型。在这种情况下，它们实际上……它们首先会平滑数据，所以我们要拟合模型，得到一个可以操作的平滑函数。但问题的一部分在于，我们可能有很多
	有很多东西需要我们调整。所以对于B样条函数，我们必须选择最佳的，
	你知道，样条曲线中要用到的多项式的次数，或者说我们应该有多少个节点？我们提供了一些默认值，但也允许你更改这些节点的位置。这很棒，在很多情况下都有效。
	但是当你获得更大的样本量或更复杂的函数时，这可能需要花费大量的时间，并且可能需要真正调整这些结的所有位置。
	但是 FDE 现在的工作方式是，我们先拟合模型，然后对这些模型的系数执行 FPCA，这样两者之间就会存在良好的关系，
	你知道，现在我们的特征函数和数据模型的形式一致了。所以它带来了很多好处，但无论是计算成本高昂，还是模型本身性能不佳，我们都需要另一种方法。
	所以
	之前的方法是先对数据进行平滑处理，现在我们考虑的是，好吧，我们就直接采用数据本身，直接对其进行操作。
	然后，让我们对得到的特征函数进行平滑处理。这并非公平的比较，但用 B 样条函数和直接 FPCA 进行比较，你会注意到
	使用直接FPCA得到的特征函数会更平滑一些，这正是我们想要的，你知道的。这个小工具真的那么重要吗？
	FPCA 的答案是，也许不是。我认为它实际上体现在最后一个特征函数上，它并没有解释太多的变异。我们在这里遇到了一些奇怪的问题。
	你知道，专家也许应该分析一下并说，不，这实际上是真实的，但最有可能的是，我们不应该给予这个特征函数太多的权重。
	可能没用过。
	因此，我们用来拟合直接函数型 PCA 模型的算法，本质上与 Rice 和 Silverman 的方法类似，主要是因为它是一个迭代过程。所以我们做的是……
	首先我要说的是，数据需要放在规则网格上。所以，如果您的数据不在规则网格上，我们会直接为您进行插值。我们也提供一些选项……数据处理步骤选项称为“reduce”，您可以
	适用于精细控制我们操作的网格。
	但在我们的程序中，我们将采用一个特征函数。
	我们只需要求第一个第一组件即可。
	拟合一个非常平滑的模型，然后请求下一个。
	一旦我们平滑了下一个，我们就需要做一些调整，以便我们了解我们想要的正交属性。
	但这里的想法是，我们……我们遇到了一个问题，我们试图平滑许多不同的函数，以便首先让模型能够工作，现在我们要
	我们真正专注于逐个平滑这些特征函数。而且我们的特征函数数量要少得多，因此这项技术在处理大型数据集时比 JMP 现有的解决方案更快。
	我要举的例子是制造过程中的一个例子，只是为了让你了解加速的概念，
	如果您在最佳情况下知道要用于这些数据的精确 P 样条模型，那么与开箱即用的直接 FPCA 解决方案相比，拟合这些模型所需的时间将是其三倍。
	不同之处在于，您不一定知道这些模型会是什么样子，所以您必须花时间来适应多个模型，所以相对于直接 FPCA 所要做的事情，您现在确实花费了很多时间。
	但是，这个例子
	具体来说，我们将玻璃粘合到晶圆上。
	你知道，这个过程就像周围有一个真空，有一些工具，都放在这个卡盘上，
	这个过程运行，不幸的是，其中大约 10% 被销毁，但这只是在过程中，你直到几周后才会知道
	它们被销毁了。所以我们的目标是……我们有传感器在这个过程中收集数据，我们想尝试利用这些数据来识别哪些晶圆可以丢弃。
	尽早。也许有一些子集我们可以摆脱，这样我们就不会在它们身上花费更多钱，所以我们的目标是尝试使用我们的传感器流数据来识别它们。
	所以现在我要去 JMP。
	我有一本期刊，所以所有这些来源都可以在社区页面上找到，但我将打开这个数据集
	我将启动
	从分析专门建模菜单中选择功能数据探索器。
	让我们逐一查看这些列。我们有晶圆ID，所以这只是我们的……
	将我们的不同功能分组。
	情况是好是坏？所以我们想
	保留它，我们想稍后使用它，所以我们将它作为补充变量，这告诉 FDE，你知道，当我们将来保存东西时，继续将它带走。
	电荷、流量、活塞力、真空和电压
	作为这个过程的一部分。
	为了推出 FDE，
	我们只是滚动浏览，看看我之前展示的这些，这些都是我们拥有的不同类型的数据，
	必然……也许并非所有模型都适用，你知道。适合这个的模型可能并不适合，你知道……适合电荷的模型可能并不适合流量。
	但直接 FPCA 会逐一查看它们，并为我们处理这些问题。在我讲解之前，我想先展示一下我之前提到的这个 reduce 选项。默认情况下……
	这里有三个标签。你可以直接把它放在等距网格上，也可以把它分成观察值，或者你可以把所有
	第n个变量来填充它。这些数据不在网格上。我们实际上不需要做任何事情，但我们可以说，好吧，让我们这样做，默认情况下，它会给你原始数据集的一半。
	现在你已经把它取下来了，形状仍然基本相同。在这种情况下，我们不需要这样做，它仍然很快，但如果你的数据
	如果你还没有在网格上，或者你有很多网格，那么使用 Reduce 仍然可以捕捉到关键特征。这确实值得探索。
	因此，由于我们有多个???，我将转到此 FDE 组选项
	并启动直接功能PCA。
	因此，这只花了几秒钟，但每个人都适合一个模型。
	充电。因此，我们能够安装，运行良好，并且有可用的诊断程序。
	我们提供了一个模型选择选项，让您可以更改 FPC 分数的数量。我们已确定四个 FPC 分数最适合此特定情况，而大多数其他情况实际上只需选择一个。
	但是如果你以前用过FDE，你会看到这些熟悉的功能摘要，但什么也没有……我们没有其他东西。没有先前的模型。这有点像……
	函数式 PCA 是模型，我们完全专注于此，而不是之前必须调整的其他东西
	在我的得分图和分析器上。滚动浏览这些，我们可以看到，我们似乎已经很好地拟合了它们。
	活塞力……我说了，你知道，很多最终都会选择一个。我的意思是，这几乎可以解释所有情况下的变化。
	好的。
	很好。再次，电压，最后一个。
	所以如果我们回到这个组选项，我们可以保存所有这些函数的摘要。现在我们已经有效地、相当快速地使用了 FDE 来
	加载我们的数据并采用所有这些功能，并将它们总结为每个功能的几个摘要。
	但主要的是
	最感兴趣的，主要是因为他们只是总结形状的变化，或者这些 FPC 分数。
	但是，在 FDE 出现之前，人们会怎么做呢？取平均值，或者查看标准差或其他汇总数据，这些东西仍然有价值，所以我认为这很好，我们默认会把这些东西带进来。
	我们有一些脚本。所以，你原始数据表里的所有脚本都会被带进来，但我们还会添加一些分析器脚本，这样你就可以启动它们，看看我修改了 FPC 分数，这意味着什么？
	并帮助对此建立一些见解。
	所以我们现在要做的就是预测这种情况，无论好坏。所以我会用广义回归，因为我觉得它真的是一个很好的
	方法不仅可以拟合这些模型，还可以解释它们。
	但你真的可以用任何东西。你可以建立一个神经网络，也可以做任何其他事情。一旦你……一旦你保存了这个表，你就可以自由地使用 JMP 的其他功能了。
	看看你觉得怎样才能更好地建模。所以我会把所有这些总结起来，然后做一个阶乘 TP 二次函数。
	因此，我们尝试预测最终状况，并使用验证数据集。
	我们的目标是，它到底好不好？
	所以，实际上，这可能是本教程中最耗时的计算部分。我们将默认使用此验证列进行套索运算。我的意思是，它需要……
	想想看，大约5-10秒。
	如果你愿意，你可以随时提前停止，但你知道我们正在给它提供一套相当不错的功能，并观察它们之间的相互作用，试图找出答案，
	你知道，这是尝试预测这种情况的最佳方法。
	这...
	快完成了。
	现在只是构建报告，一旦你获得这个模型，你还会看到感觉没有映射的东西。
	因此，我个人喜欢以中心和比例为基础来查看参数，以帮助更好地理解量级差异。
	但其中一些，你知道，比如这个 FPC 分数，我认为，你知道，它真的没有什么信息量，而 FPC 2 和 3 代表的是费用
	更有帮助，所以你可以把它们分类，然后看看。就像我之前说的，
	平均值、最小值或标准差的简单总结，它们提供了信息，但是，我们也看到总结中肯定包含了很多信息......
	使用这些 FPC 分数来计算这些函数的形状。所以我要从另一个角度来看，虽然这个流量标准差似乎非常重要，但我认为，
	我喜欢这个的另一个原因是，如果你负责这个过程，并且你可以控制流量标准差，
	这可以帮助你，你知道，也许你不需要知道第一步是什么，好吧，嘿，也许我们实际上可以
	在建立模型之前进行改进，比如说，好吧，现在我们把这些丢弃掉。假设我们已经完成了，这就是我们的模型，我们想尝试建立一个启发式方法
	好或坏。我什么时候应该直接舍弃它？所以，让我们保存预测公式的列，这些列会被保存回那个汇总表。GenReg 会给出坏概率、好概率和最可能的情况。
	所以我们可以……我们可以就此打住，然后说，好吧，如果它高于0.5，我们再仔细看看，或者如果它高于，我不知道，0.75，感觉不错。我们……也许它不值得，只是因为
	其余流程的成本。你知道，你可能根据现实世界的影响来选择这个概率。
	或者我们可以用分割模型来解决这个问题，所以我们现在要用这个概率作为一个因子。我们只是说，好吧，
	我可以手动查看一下，然后让模型帮我尝试弄清楚，它该如何将这些条件分组。这样，我们就可以维护我们的验证数据集，避免重复使用。
	所以现在我们所有的蓝色都是坏的，红色都是好的，所以幸运的是，总的来说，它们大多数都是好的。
	但是我们来拆分一下。如果这个坏的概率小于 0.1，那么很可能就是好的。大多数坏的概率都大于 0.1。这说得通。再拆分一下。现在我们真正要看的是……很多坏的概率确实在这个范围内。
	是概率超过 0.25 的概率。我们再分一次，
	至少对于训练数据来说，情况相当吻合，嘿，所有高于 0.6 的，都是很差的。你知道，你真的不希望发生这种情况
	实际上，这种训练或验证 R 平方确实强调了这一点，你知道，像大多数模型一样，你在训练集上的表现会比在验证数据集上的表现更好。
	但它现在给我们的是，你知道，我觉得 .75 不错，但实际上这意味着，也许我们真的需要关注 .6 或更高的值。
	所以，你知道，这有点...
	我想现在，我们已经到了这样的地步，你知道，这些都是模拟数据。在现实世界中，这非常有帮助，比如解释，你知道，我们能不能改进我们的流程，这也很有帮助，不仅在这个数据集上，而且在我们拥有的其他样本数据集上也是如此。
	让我们回到幻灯片。
	好的，我大致介绍并总结了什么是功能性 PCA，是什么促使了这种新的直接 FPCA 方法的出现，并向您展示了如何在一个示例中使用它，在这个示例中，我们试图在制造过程的早期丢弃一些东西。
	所以最后我想说的是，快速计算使得它非常适合处理大型数据集。从某种程度上来说，你可以从这里开始。
	然后说，好吧，直接 FPCA 是什么？它速度太快了，我不用摆弄模型控件。从某种程度上来说，如果你有大量数据，它是一个很好的起点。
	但它并不完美，你知道的。我展示了一些诊断程序，你可以看看它是否拟合得不好。就像任何模型一样，速度快并不意味着它好。所以，确保你
	识别可能的问题，也许你需要不同的方法。我的意思是，我们还有其他的基函数模型，我们正在
	针对非常特殊类型的数据，您知道，即使这种方法也不一定能像这些非常具体的模型那样有效。
	你知道……其中一部分是数据必须放在网格上，并尝试使用 Reduce 来帮助你控制网格，如果看起来事情太慢或者没有意义，也许我们默认做的事情对你的数据来说并不好
	就像你自己能做的事情一样。
	非常感谢您的到来，如果有人有任何问题，我会回答。

高级统计建模基础数据分析与建模消费者和市场研究实验设计预测模型和机器学习质量与工艺工程