758503_zh-CN

liliconcom

分析存储的制造数据时，了解变量聚类至关重要 (2020-US-30MP-576)

Tony Cooper，SAS 首席分析顾问
Sam Edgemon，SAS 研究所首席分析顾问

在过程产品开发中，实验设计 (DOE) 有助于回答以下问题：哪些 X 会导致 Y 发生变化，变化方向如何，以及每单位变化的幅度是多少？我们如何达到预期的效果？哪些 X 可能导致控制不足，需要更严格的控制或不同的最佳设置？历史数据中的信息可以帮助部分回答这些问题并帮助运行正确的实验。此类非 DoE 数据面临的问题之一是多重共线性。检测并理解多重共线性可以帮助分析师做出适当的反应。通过分析模型得出方差膨胀因子和不基于模型的变量聚类是两种常用方法。这两种方法得到的信息相似但不完全相同。简单的图表可以加深理解，但可能无法提供足够的信息。我们将使用示例来讨论这些问题。

自动生成的成绩单...

扬声器	抄本
托尼	大家好，我叫 Tony Cooper，我将代表我们俩介绍我和 Sam Edgemon 所做的一些工作。
	Sam 和我的大部分职业生涯都是从事研究统计工作，为制造业和工程领域提供支持。今天的主题是：理解变量聚类在分析存储的制造数据时至关重要。
	我将使用单个数据集进行演示。本次演示的重点是读取输出。我实在没有时间填写所有用于生成输出的对话框。
	但是我已经将所有脚本保存在数据表中，当然可以在 JMP 社区中使用。
	数据...一旦脚本运行，您可以随时使用红色箭头执行重做选项并重新启动分析，您将看到用于呈现该输出的对话框。
	我将使用这个有关制造数据的单一数据集。
	让我们快速看一下这些数据
	和
	抱歉
	快。看看这个数据集是什么样子的。首先，我有一个时间戳。所以这是一个连续的过程，每隔一段时间我就会回来，得到一堆信息。
	一些 Y 变量、一些主要输出、一些客户真正关心的 KPI，这些都必须符合规范等等，才能让我们有效地交付产品。所以……这些……绝对可以算作输出。对。
	线速度，振动设定点如何，
	还有很多其他的东西。所以你可以看到，我当时测量了60多个变量。有些是传感器，有些是设定点。
	事实上，我们来看看，其中一些确实是设定点，比如制造热量设定点。有些是命令，意思是PLC指示流程执行的操作。有些是测量值，也就是当前的实际值。
	其中一些是
	环境条件，也许我认为那是外部温度。
	其中一些
	是连续的材料质量特性，当然也有一些视觉系统的输出。所以现在输入中有很多东西。
	你可以想象一下，例如，如果我得到了命令和测量结果，那么，我告诉区域想要达到的目标和它实际测量到的结果，我们希望它们是相关的。
	我们需要调查其中的一些内容，以便思考到底发生了什么。这就是多重​​线性，理解它们之间的相互关系。
	无论是输入，还是分别理解多重共线性和输出。但总的来说，目前还不能确定 Y 是否会导致 X 产生影响。你使用的不是监督学习技术。这是一种非监督学习技术，但我只是想通过这种方式来理解数据中发生了什么。
	我所有的脚本都在这里。是的，这是我们讨论过的摘要；这是数据回顾。正如我们刚才所说，这或许可以解释为什么存在如此多的多重共线性，因为里面确实有设定点和实际值。所以，我们稍后会了解这些内容。
	我们首先要做的是让 Y 等于 X 的函数，然后设置它，我现在只看这两个变量。
	区域一命令，也就是我告诉区域一要做的事情，如果你愿意的话。然后，我在区域一区域设置了一个小热电偶，它正在测量。
	您可以清楚地看到，随着区域一温度升高，Y4 变低，响应变量也变低。
	这对于测量来说也是如此，你可以看到，在估计中，无论是负面的，总的来说，顺便说一下，这些都是相当
	预测变量，因为仅仅一个变量就能解释第四年发生的 50% 的情况。好吧，我们
	让我们做一个多变量。所以你可以想象我现在要拟合模型，并将这两个变量移到
	进入我的模型，我仍然在分析 Y4。我的响应仍然是 Y4。哦，看看这个。现在它表明，随着 Y 的增加，随着命令的增加。是的，确实如此
	这与我预期的相反。这仍然是朝着正确方向的负面，但看看
	看看这些数字。它们甚至和我刚才得到的数值完全不一样，刚才得到的数值是正值0.04，负值0.07。现在得到的数值是正值0.4，负值0.87。
	从工程角度来看，我不确定我是否可以信任这个模型，我真的想知道它是如何描述和帮助我理解这个过程的。
	这里有一条线索。这个选项可能默认没有打开，但你可以右键点击这个参数估计表，查看 VIF 列。
	这是变异膨胀因子。这是对模型不稳定性的一个估计，因为……
	这种多重共线性。所以……我们需要对这个变量……如何看待它有一些直观的理解。为了更清楚地说明发生了什么，我将绘制……这是
	温度区一命令，这是测量值，正如你所期望的，
	正如你所说……你告诉区域温度升高。是的，区域温度确实升高了，而且总的来说，它甚至可能达到正确的值。我用Y4颜色编码，所以它建议在较低温度下，我得到
	Y4 的高值以及...
	抱歉...是的，在低温谷，我得到了 Y4 的高值，就像我在各个地块上看到的那样。
	但你或许能看出，这个问题或许能让人直觉地理解为什么多元模型不起作用。你试图拟合一个三维空间……一个曲面。
	在这个刀刃上，它显然......有一些不稳定性，如果......你可以很容易地想象它没有很好地固定在侧面，所以我可以在这里前后摇晃，这就是你得到的。
	就通货膨胀因素的变化而言。OLS软件……OLS普通最小二乘分析，典型的回归分析
	只是无法处理它，在某种意义上，也许我们也可以谈论 X prime X 矩阵，你知道，在某些地方几乎是奇异的。
	所以我们对此现象的原因已经有了一些启发。让我们回过头来思考更多
	关于
	关于
	关于价值观和
	我们知道
	我们现在知道，变异膨胀因子实际上考虑的不仅仅是成对的。但如果我想寻找来源……直觉会帮助我思考两者之间的关系
	VIF 和成对比较。比如，如果我有两个变量的相关性为 60%
	那么你知道，如果全部都是成对的，那么 VIF 大约为 2.5。
	如果两个变量的相关性为 90%，那么 VIF 就是 10。文献中说
	当方差因子达到10或更高时，模型的不稳定性就足够了，你应该担心这一点。所以，从某种意义上说，你的数据中各项指标之间存在90%的相关性。
	现在，我想，10 是否是一个合适的截止值，实际上取决于你的应用。如果你基于它来做真正的设计决策，我认为 10 这个截止值太高了。
	也许接近两个就更好了。但如果我再多想一点，让我想想在这样的实验中，应该加入哪些因素。
	我想学习如何进行正确的实验。我知道我必须选择一些因素来参与实验。我也知道我们经常会去追寻那些常见的因素。有什么方法可以促使我思考一些更好的因素吗？嗯，也许可以
	10 可能有助于你缩小范围。所以这真的取决于你想去哪里思考
	思考目的是什么。所以，更多地讨论“目的”这个概念。
	对我来说，建模有两个主要目的。一是预测未来会发生什么。
	但是，这有所不同，有时这与为什么会发生这种情况更像是解释。
	正如我们刚才看到的，非常简单
	在区域一上进行命令和测量，你无法给出很好的解释。当响应、估计值似乎朝着错误的方向发展时，我不会相信该模型能够解释为什么会发生某些事情。
	所以我不会用它来解释。我甚至建议我不会用它来预测。因为如果我不能理解这个模型，它就不会直观地按照我的预期去做。
	当然，这似乎使得外推法变得危险，从定义上来说，我认为对未来事件的预测就是对时间的外推。对，所以我会一直思考这个问题。而且，你知道，到目前为止，我们讨论的是普通最小二乘法。
	我所看到的所有建模技术，比如决策树、请愿分析，
	都会以各种意想不到的方式受到这个问题的影响。所以，如果可以的话，处理这个问题似乎是个好主意。而且这个问题并非制造业数据独有。
	但在制造业数据中，情况可能被夸大得更严重，因为变量往往无法控制。如果我们
	如果我们有一个区域温度，并且我们知道它需要达到这个值才能生产出好的产品，那么我们就会尽可能严格地控制它以达到所需的值。
	所以，推断变得越来越难。这是夸张的制造，因为我们无法控制它们。
	您还可以在这里阅读有关制造数据的其他一些内容，这些内容可能
	让它变得更好，因为这既是机遇也是挑战。更好的是你能理解制造流程。这些流程的运行涉及大量的科学和工程知识。
	你可以理解，例如，化学计量学要求你添加的 A 的量，化学物质 A 必须与化学物质 B 有关系。
	或者你知道你不想从这里的一个区域温度变为截然不同的温度，因为你需要慢慢地提高温度，否则你只会产生压力。
	因此，您可以而且应该了解您的流程，这可能是一种方法，即使没有任何关于多重共线性的经验证据，您也可以摆脱其中的一些。
	还有
	制造业数据的一个优势在于它几乎总是基于时间的，所以要绘制随时间变化的变量。这总是很有趣的
	或者并非总是如此，但通常很有趣的是，制造业数据似乎确实会像这里一样在一段时间内发生变化……我们认为它应该是 250，我们会运行几个月，甚至几年，
	然后突然有人说，你知道，我们做了些不同的事情，或者我们有了新想法。让我们改变一下温度。这太不一样了。
	当然，如果你想知道为什么存在多重共线性，
	我们已经讨论过它可能是由于物理或化学引起的，但它当然也可能是由于某些潜在变量引起的，特别是当人们担心变量会随时间发生变化时，就像我们刚才看到的那样。
	任何以该速率变化的因素都可能是影响 Y4 实际值的因素。这可能是由于控制计划造成的。
	它可能是通过设计而关联的。所有这些，你知道，所有这些导致多重共线性的原因，以及我总是问的问题是，你知道，
	从物理上来说，尝试其他组合是否可行，或者不仅仅是从物理上来说，尝试其他组合是否有意义？
	在这种情况下，你倾向于进行实验，这非常有帮助。这种建模和回顾数据的方式，对于帮助你设计更好的实验非常有帮助。
	尽管有时期望有点过高，但在我看来，我们似乎期望从这些回顾性数据中得到一个明确的答案。
	我们已经讨论了两种方法来处理和理解多变量聚类。一种是方差因子 (VIF)。
	这是包含所有变量的更大模型的 VIF。
	我该如何思考哪些与哪些相关？这说明我有很多问题。
	但它并没有告诉我如何处理这些问题。所以它能帮助你意识到，这不是一个好的模型。
	但这可能对你摆脱困境没有帮助。如果我把交互作用也算进去，情况会更糟，因为它们几乎总是更相关的。所以我们需要另一种技术。
	这就是变量聚类。JMP 提供了此功能，有两种方法可以实现。您可以查看“分析多元主成分”。
	或者你可以直接对聚类变量进行聚类。如果你通过主成分分析，你必须使用红色选项……红色三角形选项来获取聚类变量。我仍然更喜欢这种方法，即主成分分析，因为我喜欢它额外的输出。
	但它是基于主成分分析（PCA）的。所以我们首先会讨论主成分分析，然后再讨论变量聚类的输出。
	还有JMP页面。为了讨论主成分，我实际上会先使用变量的标准化版本。让我们回顾一下什么是标准化。
	平均值现在是零，标准差现在是 1。所以我已经标准化了这意味着它们现在都在同一个尺度上，并且当你这样做的时候，隐含地
	当你这样做
	JMP 中相关性的主成分，
	隐含地，您正在对标准化变量进行操作。
	当然，JMP 的功能非常强大，它足够智能，可以让你输入原始值
	让它以正确的方式工作，然后当它输出时，它会输出公式，它会找出正确的
	公式应该是，因为，你知道，你已经回到了非标准化的阶段。但作为初步了解，为了让我们了解公式的位置和其他一些内容，我将暂时使用标准化变量，但我们很快就会回到正题，但我只想看一个公式。
	这就是这个公式。我要考虑的是输出。那么，
	的
	PCA？它被称为变异减少技术，但它的作用是寻找变量的线性组合。
	如果它找到了喜欢的线性组合，那么......这就被称为主成分。
	它使用特征分析来做到这一点。
	所以另一种思考方式是，你知道我想要它，我将 60 多个变量放入...输入中。
	在这个过程中，我可以操作的并不是 60 个独立维度，它们是相互关联的。我对时间、温度等命令所做的操作
	几乎极大地决定了实际温度的变化。所以它们不是两个独立变量。它们并不能保证你没有二维空间。那么我们有多少个维度呢？
	这就是特征值告诉你的。它们就像方差。这些是方差的估计值，截断值是
	一。如果我把整个表格都放在这里，就会有60个特征值。一直往下看，你知道，快速启动报告在0.97，但下一个可能是0.965，它会继续下降。
	截断值表明……或者某种指导原则是，如果它大于1，那么这个线性组合就解释了一个信号。如果它小于1，那么它就只能解释噪声。
	那么 JMP 的作用是...当我进行变量聚类时，它会说，你知道吗
	这里有第二个维度。这意味着第二组变量，对吧，它们解释的东西略有不同。现在我要把它们分成两组。然后我要对这两组都进行主成分分析。
	如果和两者的特征值...第一个会很大，但第二个会是什么样子
	我分成两组之后呢？现在它们的数量小于一了吗？嗯，如果小于一，就完成了。但如果大于一，那你就得进一步细分了。
	并且它被进一步以交互、直接和分裂的方式分割，直到不再有大于一的第二个组件。
	所以它创建了这些线性组合，你可以看到……你知道，当我保存主成分一时，它就是这些公式。哎呀。
	就是这个公式，0.0612，这是Prin1的公式，只要你标准化，它就完全正确。如果你不标准化，JMP就会想办法在非标准化数据上进行计算，也就是说，它完全有能力做到这一点。
	那么让我们开始处理初始数据。
	我们来做个例子。你会看到输出非常相似。事实上，除了我打开的一项之外，输出是一样的。
	就是这个选项，聚类变量。我在这里得到的是聚类变量的输出。你可以看到这些数字是一样的。你已经可以开始理解它需要进行的一些思考了，比如，让我们看看这里的这两个。
	投入的 AI 量似乎与投入的 BI 量高度相关，所以...如果这是您想要完成的化学反应的一部分，那么这对于大多数化学过程来说都是有意义的。
	你知道，如果你想多投入10%，很可能B也会多投入10%。所以即使在这张射线图中，你也会开始看到一些暗示多重共线性的东西。这样就能得出一些结论。
	但我想把它们放在不同的组中，这有点困难，因为
	注意这家伙，温度区 4。
	他实际上是相反的。它们的角度差不多，只是方向相反，所以他几乎与 A 和 B 成 100 度或 180 度角。
	所以也许...与区域 4 温度和 AB 呈负相关，而不是...但我也想把它们放在专属组中，这就是我们得到的
	当我们要求进行变量聚类时，它会把这些相同的变量放入不同的组中，最终将它们分成了八个不同的组。
	这是标准化系数。公式如下
	这对于单个集群来说。所以当我保存
	集群组件
	我得到的结果与我们在 Prin1 中得到的结果非常相似，只不过这只针对簇 1，因为你会注意到，在这一行中，区域 1 的命令带有……和 .44，其他地方都为零。每个变量都独占在一个簇中。
	那么让我...来谈谈一些输出。
	因此，我们正在进行变量聚类，
	哎呀。
	对不起。
托尼	然后我们在输出中得到了一些表格。现在我要关闭……最小化这个窗口，我们来讨论一下输出的内容。
	各位，首先我想提一下的是标准化估算，我们正在做这件事。如果你们想做的话，引用一下，你知道的，
	手动操作，如果你愿意，请重复一遍，我如何得到0.35238呢？我可以只对聚类一的变量运行主成分分析。这些变量就保留在那里。然后你可以查看特征值、特征向量，这些都是精确的数字。
	所以，
	所以.352就是这样，正如我所说的。它不断地进行多次主成分分析，你可以看到这里的第二个主成分，哦，抱歉，小于1。所以它停在了那个成分上。
	谁在里面
	第一组，嗯，温度是……两个区域一的测量值，一个区域三的测量值，相比之下，水量似乎更重要。这里还有一些其他的温度，以及……在第六组。
	这是一个非常有用的彩色表格。它是按集群组织的。这是集群 1；我可以将鼠标悬停在上面，查看所有内容。
	加水（我说我应该加水，是的，加水。抱歉，让我拿一杯适合我体温三的。）
	这是正相关，有趣的是，区域4是负相关。所以你肯定会看到一些颜色块……因为这些……所以这显然是聚类一，这也许是聚类三。
	这个，我知道是第六组。
	但是看看这里……这个……正如你所想象的，集群一和集群三有一定的相关性。我们开始看到一些关于可以做什么的想法。所以我们开始对数据中发生的事情有了一些直觉。
	我们来看一下这张表。这是包含自身聚类、下一个聚类以及 1-r 平方比的表格。然后……我要把它保存到我自己的数据集中。
	我要对它进行多变量分析。我已经得到了从一到八个成分的聚类结果以及所有因子。我真正感兴趣的是表格的这一部分，比如所有原始变量以及它们如何与成分聚类。所以，让我保存这个表格，
	然后我要做的是，删除这个表里的一些多余的行，但这是同一个表。我们只删除一些行。
	我会转过身来……这样我们就可以集中讨论某些部分了。剩下的就是构成簇的列和行……
	行列……不同的角色……我们现在考虑的是27个变量，而不是60个（抱歉），它把它们分成了8个不同的组，我已经把这个数字加进去了。它们可以自动生成。
	我要开始，为了继续工作，我要做的是，我不想要这些是相关性。我想要这些是 R 平方。所以我要对所有这些数字求平方。
	所以我把它们平方一下，就好了。现在我们可以看看，可以开始思考了。
	我已经整理好了...让我们看看
	第一行。
	抱歉，我们讨论过的这个温度测量值与其...第一集群的相关性为 96%。
	它与聚类二的相关性为 1%，所以在我看来，它非常非常想被归入聚类一，而且它并没有太多理由被归入聚类二。我想要做的就是找到所有这些……
	让我们在这里用颜色标记一些东西，这样我们就能更快地找到它们。所以
	我们正在讨论第一区测量，如果有的话，最想加入的是第五集群。
	你知道它的相关性是 96%，但是你知道，如果它必须离开这个集群，它下一步会去哪里？它会考虑集群 5。
	那么第五个簇是什么呢？嗯，你当然可以看看这个簇。那里有更多的温度，比如湿热设定点等等。如果没有……那么这个数字，
	与其所属聚类的R平方值表明了它有多喜欢待在自己的聚类中，而与下一个聚类的R平方值则表明了它有多喜欢待在不同的聚类中。表格中报告了这两个信息。
	您知道，JMP 不会显示所有的相关性，但它可能值得绘制，而且正如我们刚刚演示的那样，这并不难做到。
	所以这说明……我真的很喜欢待在自己的集群里。这意味着如果我必须离开，我不介意去这里。我们来比较一下这两个。然后用一减去这个数字，
	除以 1 减去这个数字。这就是 1 减 r 平方的比率。所以，它是你对自己所属聚类的喜爱程度除以你尝试前往其他聚类的次数。
	让我们绘制其中的一些。
	和
	让我在那里寻找本地数据过滤器。
	集群。
	事情是这样的。所以
	从某种意义上来说，这个比率的值越低越好。这些就是这里的（我们来突出显示一下）……
	好吧，让我们重点介绍一下……这里最重要的一点。
	我喜欢下面这个。抱歉。
	这个真空设定点，你可以看到它与下一个最接近的设定点的聚类非常相似，0.97 对 0.0005，所以你知道这个比率接近于零。所以那些不会……
	有了它……你肯定不想把它挪过去。你可以开始做一些事情，比如，让我们只考虑一下集群一号变量。如果有人想留下它，也许是Pct_reclaim。也许他在那里，
	就像，你知道，通过偶然的机会，我知道，如果我在第二个集群，我就可以开始考虑线速度。
	我要讨论的最后一个表是集群摘要表。这是
	这张桌子在这里。
	它说...它已经浏览过这个列表并说如果我查看 r 平方自己的集群，那么集群一的最高数字是 .967。
	所以也许这是最具代表性的。
	对我来说，让软件决定我要保留这个变量，并且只保留这个变量，可能不是明智之举，尽管每个软件
	有一个按钮，上面写着只用你认为的主要内​​容来启动它，从某种意义上说，这可能会给你一个稳定的模型，但我认为它只是短暂的变化
	你可以做的事情种类繁多。希望通过我们提供的技术，你现在能够探索其他的事情。
	这是...您可以通过再次在其自己的集群上执行 PCA 来计算这个数字，它表明它是集群...特征值一个投诉解释了 .69%，所以这是另一个...只是考虑一下，它是自己的集群。
	结束这些并让我们总结一下。
	我们已经提供了几种技巧。如果无法理解清晰的内容，你的数据可能会难以解读，甚至会误导模型。
	理解与流程相关的数据可能会产生多重共线性。因此，这只是从中小企业、行业专家的角度理解。
	成对图和散点图更容易解释，但会忽略多重共线性，所以你需要更多。VIF 可以很好地告诉你问题所在。它实际上只适用于普通最小二乘法。
	没有，没有可以进行比较的预测。
	并且有一些指导方针，变量聚类基于主成分，显示出更好的成员资格并加强了每个组之间的关系。
	我希望这篇评论或介绍能够鼓励您，也许，像我所说的那样，抓住 JMP Discovery 中的这个数据集，您可以自己运行脚本，而且您可以明显地放慢速度，确保您感觉良好，并在您自己的数据或其他东西上进行练习。
	最后补充一下，你知道，还有其他材料，Sam 和我曾在 JMP Discovery 会议上和/或
	...或者为 JMP 撰写白皮书，也许你会想了解一下我们在制造过程中所考虑的一切，因为我们发现
	制造业数据的建模……与理解电信行业的客户数据相比，有点特殊，我们很多人在学校学习过这些知识。感谢你的关注，祝你好运。
	并进行进一步的分析。

高级统计建模基本数据分析与建模消费者和市场研究数据探索与可视化实验设计大规模定制预测模型和机器学习质量与工艺工程可靠性分析