281522_zh-CN

liliconcom

分析存储的制造数据时，了解变量聚类至关重要 (2020-US-30MP-576)

级别：中级

 

Tony Cooper，SAS 首席分析顾问
Sam Edgemon，SAS 研究所首席分析顾问

 

在过程产品开发中，实验设计 (DOE) 有助于回答以下问题：哪个 X 导致 Y 发生变化、朝哪个方向变化以及每单位变化多少？ 我们怎样才能达到我们想要的效果呢？ 并且，哪些 X 可能允许失败者控制，或者需要更严格的控制，或者不同的最佳设置？ 历史数据中的信息可以帮助部分回答这些问题并帮助进行正确的实验。 此类非能源部数据的问题之一是多重共线性的挑战。 检测多重共线性并理解它可以让分析师做出适当的反应。 模型分析中的方差膨胀因子和不考虑模型的变量聚类是两种常见的方法。 每个的信息相似但不相同。 简单的图表可以增进理解，但可能无法揭示足够的信息。 将使用示例来讨论这些问题。

 

 

自动生成的成绩单...

 

扬声器	成绩单
托尼	大家好，我叫托尼·库珀，我将展示我和萨姆·埃奇蒙所做的一些作品，我将代表我们俩。
	萨姆和我是研究统计学家，在我们的大部分职业生涯中为制造和工程提供支持。 今天的主题是理解变量聚类在分析存储的制造数据时至关重要。
	我将使用单个数据集进行演示。 本次演讲的重点是阅读输出。 而且我真的没有时间填写所有对话框来生成输出。
	但我已将所有脚本保存在数据表中，当然可以在 JMP 社区中找到这些脚本。
	数据...脚本运行后，您始终可以使用红色箭头执行重做选项并重新启动分析，您将看到用于呈现该输出片段的对话框。
	我将使用这个关于制造数据的单一数据集。
	让我们快速浏览一下这些数据的样子
	和
	抱歉有一个
	快的。 看看这个数据集是什么样子的。 首先，我有一个时间戳。 所以这是一个连续的过程，每隔一段时间我就会回来并获得一堆信息。
	对于一些 Y 变量、一些主要输出、一些客户真正关心的 KPI，这些必须符合规范等等，以便我们有效地交付。 然后……所以这些……绝对是输出。 正确的。
	线速度，振动设定点如何，
	还有很多其他的事情。 所以你可以一路看到，我当时正在测量 60 个奇怪的变量。 其中一些是传感器，一些是设定点。
	事实上，让我们看看其中一些确实是设定点，例如制造热设定点。 其中一些是命令，这意味着 PLC 告诉进程要做的事情。 其中一些是衡量指标，即当前的实际值。
	他们之中有一些是
	环境条件，也许我认为那是外部温度。
	他们中有一些
	连续的材料质量特征，并且肯定有一些视觉系统输出。 所以现在输入中有很多东西。
	你可以想象，例如，如果我有命令和测量，我告诉该区域想要达到的位置以及它实际测量的值，我们希望它们是相关的。
	我们需要调查其中的一些，以便思考到底发生了什么。 这就是多重共线性，理解它们之间的相互关系
	输入或单独理解多重共线性和输出。 但总的来说，现在不做 Y 会导致 X 效果。 你没有进行监督技术。 这是一种无监督技术，但我只是想以这种方式了解数据中发生的情况。
	我所有的脚本都在这里。 是的，这就是我们讨论过的摘要；这是对数据的回顾。 正如我们刚才所说，这可以解释为什么存在如此多的多重共线性，因为我确实有一个设定点和一个实际值。 所以，但是我们会了解这些事情。
	我们首先要做的是让 Y 等于 X 的函数，然后设置它，我现在只看这两个变量。
	第一区命令，如果你愿意的话，就是我告诉第一区的命令。 然后我有一个小热电偶，在第一区有一个小热电偶，它正在测量。
	您可以清楚地看到，随着一区温度变高，Y4 变低，该响应变量变低。
	对于测量来说也是如此，你可以看到在估计值中都是负的，而且总的来说，顺便说一句，这些都是相当的
	预测变量是指仅此一个变量就解释了第 4 年发生的情况的 50%。 好吧，让我们
	让我们做一个多变量。 所以你想象我现在要拟合模型并将这两个变量移入
	进入我的模型，我仍在分析 Y4。 我的回答仍然是Y4。 哦，看看这个。 现在它建议作为 Y，随着命令的上升。 是的，确实如此
	这与我的预期相反。 这在正确的方向上仍然是负面的，但看看
	看看其中一些数字。 这些甚至与我刚才的情况不同，我刚才的情况是 0.04 和 0.07 负值。 现在我有正 0.4 和负 0.87。
	我不确定从工程的角度来看我是否可以信任这个模型，我真的想知道它是如何描述并帮助我理解这个过程的。
	有一个线索。 默认情况下这可能不会打开，但您可以右键单击此参数估计表，然后可以询问 VIF 列。
	这代表变异通货膨胀因子。 这是对模型不稳定性的估计...
	这种多重共线性。 所以你可以......所以我们需要对什么有一点直觉......如何思考这个变量。 但为了更清楚发生了什么，我将绘制......这里是
	温度区域一命令和这里的测量，正如您所期望的，
	正如你所说...你告诉该区域增加温度。 是的，该区域的温度确实有所增加，而且总的来说，它甚至可能会达到正确的值。 我已经用 Y4 编码了这种颜色，所以它建议在较低温度下使用，我明白了
	Y4 的高值以及...
	抱歉...是的，在低谷温度下，我得到了较高的 Y4 值，正如我在各个图上看到的那样。
	但您可以看到，也许问题得到了一些关于为什么多元模型不起作用的直觉。 您正在尝试拟合三个 dom...一个曲面。
	在这个刀刃上，它显然可以......有一些不稳定，如果......你可以很容易地想象它没有很好地固定在侧面，所以我可以在这里前后摇晃，这就是你得到的。
	这是就通货膨胀因素的变化而言的。 OLS软件...OLS普通最小二乘分析典型回归分析
	只是无法处理它，在某种意义上，也许我们还可以谈论 X 素数 X 矩阵，你知道，在某些地方几乎是奇异的。
	所以我们对为什么会发生这种情况有了一些启发。 让我们回过头来想更多
	关于
	关于
	关于价值观和
	我们知道
	你知道，我们现在知道，变异通胀因子实际上不仅仅考虑成对的问题。 但如果我想寻找来源......那么直觉可以帮助我思考之间的关系
	VIF 和成对比较。 就像我有两个 60% 相关的变量
	那么你知道，如果都是成对的，那么 VIF 约为 2.5。
	如果两个变量的相关性为 90%，那么我会得到 10 的 VIF。 文献说
	当您的 VIF 为 10 或更多时，您就有足够的不稳定性，因此您应该担心您的模型。 所以，你知道，因为从某种意义上来说，数据中的事物之间有 90% 的相关性。
	现在，我想 10 是否是一个好的截止值确实取决于您的应用程序。 如果您根据它做出真正的设计决策，我认为 10 的分界线太高了。
	也许甚至接近两个更好。 但如果我想得更多的话。 好吧，让我考虑一下在这样的实验中运行哪些因素
	我想学习如何进行正确的实验。 我知道我必须选择一些因素来参与其中。 我知道我们经常去追寻通常的嫌疑人。 有没有办法让我自己思考一些更好的因素？ 好吧，那也许是
	10 可能有助于您缩小范围。 所以这实际上取决于你想要去哪里思考
	思考目的是什么。 更多关于这个目的的想法。
	你知道，如果你愿意的话，对我来说建模有两个主要目的。 一是将会发生什么，你知道，这就是预测。
	但这是不同的，有时这与为什么会发生而这更像是解释。
	正如我们刚刚看到的一个非常简单的
	在第一区进行命令和测量，你可以，但你不能做很好的解释。 我不会相信该模型会思考为什么当我有时、当我做出反应时、当估计似乎朝着错误的方向发展时会发生某些事情。
	所以它非常重要，所以我不会用它来解释。 我有点建议我什至不会用它来进行预测。 因为如果我无法理解模型，那么它就不会直观地实现我的预期
	这似乎使推断变得危险，当然，根据定义，你知道，我认为对未来事件的预测就是及时的推断。 是的，所以我会一直思考这个问题。 而且，您知道，到目前为止我们正在讨论普通最小二乘法。
	我看到的所有建模技术，例如决策树、请愿分析，
	所有人都在某种程度上受到这个问题的影响，以不同的意想不到的方式。 因此，如果可以的话，照顾好它似乎是个好主意。 这并不是制造数据所独有的。
	但制造数据的夸大程度可能更严重，因为变量通常不受控制。 要是我们
	如果我们有，你知道，一区温度，并且我们知道需要达到这个值才能生产出好的产品，那么我们将尽可能严格地将其控制在所需值。
	因此，真正的推断变得越来越困难。 所以这是夸大的制造，因为我们确实可以控制它们。
	您可以在此处阅读有关制造数据的其他一些内容，这使得它可能
	让它变得更好，因为这是机遇和挑战。 更好的是您可以了解制造流程。 关于这些东西如何运行有很多科学和工程。
	例如，您可以理解化学计量要求您添加的 A 量，化学物质 A 必须与化学物质 B 相关。
	或者你知道你不想从这里的一区温度进入完全不同的温度，因为你需要缓慢地升高温度，否则你只会产生压力。
	所以你可以而且应该理解你的过程，这可能是一种方法，即使没有任何关于多重共线性的经验证据，你也可以摆脱其中的一些。
	还有
	制造数据的一个优点是它几乎总是基于时间的，因此请绘制随时间变化的变量。 而且总是很有趣
	或者并不总是如此，但通常很有趣，制造数据似乎确实像这里一样按时间块移动......我们认为它应该是 250 并且我们运行了几个月，甚至几年，
	然后突然有人说，你知道，我们做了一些不同的事情，或者我们有了一个新想法。 让我们移动温度。 非常不同。
	当然，如果你想知道为什么会存在多重共线性，
	我们已经讨论过它可能是由于物理或化学造成的，但当然也可能是由于某些潜在变量造成的，特别是当涉及到变量随时间变化时，就像我们刚才看到的那样。
	任何以该速率变化的因素都可能是影响 Y4 值的实际因素。 可能是由于控制计划。
	它可以通过设计关联起来。 每一件事情，你知道，多重共线性的每一个原因，我总是问的问题是，你知道，
	尝试其他组合在物理上是否可行，或者不仅仅是物理上可行，尝试其他组合是否有意义？
	在这种情况下，您倾向于进行实验，这非常有帮助。 这种建模和回顾性查看数据对于帮助您设计更好的实验非常有帮助。
	有时，尽管期望有点太高，但在我看来，我们似乎期望从这些回顾性数据中得到明确的答案。
	我们已经讨论了两种半的方法来解决多变量聚类并理解它。 其一是VIF。
	这是包含所有变量的更大模型上的 VIF。
	我如何考虑哪些与哪些相关？ 这告诉我我有很多问题。
	但它没有告诉我如何处理这些问题。 所以这很好地帮助你说，哦，这不会是一个好的模型。
	但这可能对你摆脱困境没有帮助。 如果我将交互放在这里，情况会更糟，因为它们几乎总是更相关。 所以我们需要另一种技术。
	这就是变量聚类。 JMP 中提供了此功能，并且有两种方法可以实现它。 您可以浏览分析多元主成分。
	或者您可以直接对聚类变量进行聚类。 如果您检查主成分，则必须使用红色选项...红色三角形选项来获取聚类变量。 我仍然更喜欢这种方法，PCA，因为我喜欢额外的输出。
	但它是基于PCA的。 所以我们要做的是首先讨论 PCA，然后讨论变量聚类的输出。
	还有 JMP 页面。 为了讨论主成分，我实际上将首先使用变量的标准化版本。 让我们想想提醒自己什么是标准化的。
	平均值现在为零，标准差现在为 1。 所以我已经标准化了这意味着它们现在都处于相同的规模并且当你这样做时隐含地
	当你这样做时
	JMP 中相关性的主成分，
	隐含地你正在对标准化变量进行操作。
	当然，JMP 不仅有能力，而且非常聪明，足以让您输入原始值
	为了让它以正确的方式工作，然后当它输出时，它会输出，你知道，公式，它会找出正确的
	公式应该是，你知道，你已经回到了非标准化状态。 但就像第一眼看到的那样，我们可以看到公式在哪里以及一些东西，我将使用标准化变量一段时间，但我们很快就会回去，但我只想看一个公式。
	这就是这个公式。 我要做的就是考虑输出。 那么目的是什么
	的
	主成分分析？ 它被称为变异减少技术，但它的作用是寻找变量的线性组合。
	如果它找到了它喜欢的线性组合，它......这就是所谓的主成分。
	它使用特征分析来做到这一点。
	因此，另一种思考方式是，你知道我想要它，我将 60 个奇数变量放入...输入中。
	在这个过程中我无法操纵 60 个独立的维度，它们是相关的。 我对命令的时间、温度做了什么
	几乎很大程度上决定了实际温度下会发生什么。 所以这些不是两个自变量。 这些不会让你说你不知道，那里没有二维。 那么我们有多少个维度呢？
	这就是特征值这个东西告诉你的。 这些就像方差。 这些是方差估计，截止值是
	一。如果我这里有整个表，就会有 60 个特征值。 一路下跌，你知道，跳跃开始报道为 0.97，但下一个下跌，你知道，可能是 0.965，而且会继续下跌。
	截止值表明......或者一些准则是，如果它大于一，那么这个线性组合就可以解释信号。 如果它小于一，那么它只是解释噪音。
	所以 JMP 所做的是......当我进入变量聚类时，它说，你知道什么
	你在这里有一个第二维度。 这意味着第二组变量，对，它对某些事情的解释有点不同。 现在我要把他们分成两组。 然后我将对两者进行 PCA，
	如果和两者的特征值...第一个会很大，但第二个看起来像什么
	我分成两组后？ 现在他们还不到一个吗？ 好吧，如果它们少于一，你就完成了。 但如果它们大于一个，那就好像，哦，该组可以进一步分裂。
	并且它被进一步交互地、直接地和分裂地分裂，直到不再有第二个成分大于第一个成分。
	因此，它正在创建这些线性组合，您可以看到...您知道，当我保存主成分一时，它正是这些公式。 哎呀。
	正是这个公式，0.0612，这就是 Prin1 的公式，只要标准化，这将是完全正确的。 如果你不标准化，那么 JMP 只会找出如何在非标准化的情况下做到这一点，也就是说它完全有能力做到这一点。
	那么让我们开始处理初始数据。
	我们将做我们的例子。 您会看到这是非常相似的输出。 事实上，除了我打开的一件事之外，它的输出是相同的。
	这个选项就在这里，集群变量。 我在这里得到的是簇变量输出。 你可以看到这些数字是相同的。 您已经可以开始看到它必须要做的一些想法，例如，让我们在这里看看这两个。
	人工智能的投入量似乎与商业智能的投入量高度相关，所以……这对于大多数化学过程来说都是有意义的，如果这是你想要完成的化学反应的一部分。
	你知道，如果你想多投入 10%，可能会多投入 10% B。 因此，即使在这张射线图中，您也开始看到一些表明多重共线性的东西。 所以要到达某个地方。
	但我想把它们分成不同的组，这有点困难，因为
	看这个家伙就在这里，温度区 4。
	他其实恰恰相反。 它们的角度相同，但方向相反，所以他与 A 和 B 几乎成 100 或 180 度。
	所以也许...与 4 区温度和 AB 负相关，而不是...但我也想将它们放入专有组中，这就是我们得到的
	当我们要求变量聚类时。 因此，它把这些完全相同的东西分成不同的组，然后将它们分成八个不同的组。
	这是标准化系数。 所以这些是公式
	你知道，对于各个集群。 所以当我保存时
	集群组件
	我得到的结果与我们对 Prin1 所做的非常相似，除了这仅适用于集群 1，因为您注意到在这一行中，区域一命令带有 ... 带有 .44，其他地方都是零。 每个变量都排他地位于一个集群或另一个集群中。
	那么让我...让我们谈谈一些输出。
	所以我们正在进行变量聚类
	哎呀。
	对不起。
托尼	然后我们在输出中得到了一些表格。 所以我要关闭...最小化这个窗口，我们正在讨论这里的输出内容。
	你们知道我想向我们指出的第一件事是标准化估计，我们正在这样做。 如果你想这样做，引用，你知道，
	如果愿意的话，请手动重复一下我如何在这里获得 .35238，我可以仅在集群一个变量上运行 PCA。 这些是留在那里的变量。 然后你可以查看特征值、特征向量，这些都是精确的数字。
	所以，
	所以 .352 就是我所说的。 它不断地进行多个 PCA，您可以看到这里的第二个主要成分是，哦，抱歉，小于 1。 这就是为什么它停在那个组件上
	谁在里面
	集群一，嗯，那里的温度是……两个区域一的测量值，一个区域三的测量值，与此相比，水量似乎很重要。 这里还有一些其他温度，以及……第六簇中的温度。
	这是一个非常有用的颜色编码表。 这是按集群组织的。 这是集群一；我可以将鼠标悬停在它上面，然后我可以阅读所有内容
	加水（虽然我说我应该，是的，加水。 抱歉，让我拿一份我的体温为三的。）
	这是正相关，你知道，有趣的是，区域 4 那里有负相关。 所以你肯定会看到颜色块...因为这些是...所以这显然是集群一，这可能是集群三。
	我知道这是第六簇。
	但是看这里...这...正如您可以想象的那样，集群一和集群三有些相关。 我们开始看到一些关于我们可以做什么的想法。 因此，我们开始对数据中发生的情况有一些直觉。
	让我们在这里探讨一下这张表。 这是自己的簇、下一个簇和 1 减去 r 平方的比率。 什么......我要把它保存到我自己的数据集中。
	我要对其进行多元分析。 所以我得到了集群一到八个组件以及所有因素。 我真正感兴趣的是表的这一部分，例如所有原始变量以及它们如何与组件聚集。 所以让我保存该表并
	然后我要做的是，我要删除，从这个表中删除一些额外的行，但它是同一个表。 让我们删除一些行。
	我会转身……这样我们就可以专注于某些问题。 所以我剩下的是作为集群组件的列和行......
	行列...不同的角色...现在我们正在考虑的变量是 27 个，而不是 60 个（抱歉），它把它们分为 8 个不同的组，我已经添加了这个数字。 他们可以自动出现。
	我要开始，为了继续工作，我要做的是，我不希望这些之间存在相关性。 我想要这些作为 R 方。 所以我要对所有这些数字进行平方。
	所以我只是将它们平方，然后我们就开始了。 现在我们可以看看，现在我们可以开始思考它。
	我已经排序了...所以让我们看看
	第一行。
	抱歉，我们讨论过的温度一项测量与其……与集群一有 96% 的相关性。
	它与集群二有 1% 的相关性，所以在我看来它真的非常想属于集群一，而且它并没有太多可说的，我想进入集群二。 我想做的就是让我们找到所有这些......
	让我们在这里对一些东西进行颜色编码，这样我们就可以更快地找到它们。 所以
	我们正在谈论第一区，如果有的话，我们想要进入的区域是第五集群。
	你知道它有 96% 的相关性，但你知道，它是，它不会是，如果它必须离开这个集群，它接下来会去哪里？ 它会考虑第五组。
	第五组中有什么？ 嗯，你当然可以开始考虑这一点。 所以那里的温度更高。 湿度热设定点等等。 所以如果没有......那么这个数字，
	带有自己的集群的 cl... 谈论它有多喜欢在自己的集群中以及什么... 而下一个集群的 R 平方则告诉您它有多想在不同的集群中。 这就是表中报告的两件事。
	您知道，JMP 并未显示所有相关性，但它可能值得绘制，正如我们刚才演示的那样，这并不难做到。
	所以这告诉你......我真的很喜欢待在自己的集群中。 这表示如果我必须离开，那么我不介意到这里来。 让我们比较一下这两个。 让我们用一减去这个数字，
	除以一减去该数字。 这就是一减去 r 平方的比率。 因此，它是您对自己的集群的喜爱程度除以您尝试前往另一个集群的程度的比率。
	让我们绘制其中一些。
	和
	让我寻找那里的本地数据过滤器。
	集群。
	事情就是这样。 所以
	从某种意义上说，该比率的值越低越好。 这些是这里的（让我们突出显示他）......
	好吧，让我们重点介绍一下……这其中最重要的一个。
	我喜欢下面这个。 对不起。
	这个真空设定点，您可以看到它自己的簇比下一个最接近的簇（0.97 与 0.0005）真的非常喜欢，所以您知道该比率接近于零。 所以那些不会...
	有了它……你就不想把它移过去。 您可以开始做一些事情，例如让我们考虑一下簇一变量。 如果有人想离开它，也许就是 Pct_reclaim。 也许他进去了，
	就像，你知道，你知道，偶然的机会，你知道，如果我在第二组中，我可以开始考虑线速度。
	我要讨论的最后一个表是集群汇总表。 那是
	这张桌子在这里。
	它说……它浏览了这个列表并说，如果我查看自己的簇的 r 平方，则簇一的最高数字是 0.967。
	所以也许这是最有代表性的。
	对我来说，让软件决定我要保留这个变量可能并不明智......这个变量并且只有这个变量，尽管当然每个软件
	有一个按钮，上面写着仅使用您认为的主要模型来启动它，从某种意义上说，这可能会给您一个稳定的模型，但我认为这是短暂的变化
	你可以做的事情种类。 而你，希望通过所提供的技术，我们可以......你现在有能力探索其他事物。
	这是......你可以通过再次在它自己的集群上执行PCA来计算这个数字，它和它建议它集群......特征值一一抱怨解释了0.69％，所以这是另一个......只是想一想它，它自己的集群。
	结束这些，让我们总结一下。
	因此，我们为您提供了几种技巧。 如果无法理解清楚的内容，您的数据可能会难以解释，甚至会误导模型。
	了解与流程相关的数据可能会产生多重共线性。 因此，这只是从中小企业角度、主题专业知识角度的理解。
	成对图和散点图更容易解释，但会忽略多重共线性，因此您需要更多。 VIF 非常擅长告诉您遇到了问题。 它仅适用于普通最小二乘法。
	不，没有可比性的预测。
	并且有一些指导方针，变量聚类基于主成分，显示出更好的成员资格并加强了每个组中的关系。
	我希望这篇评论或介绍会鼓励您，正如我所说，从 JMP Discovery 获取此数据集，您可以自己运行该脚本，并且您可以明显放慢速度，并确保您感觉良好并且也许可以用你自己的数据或其他东西进行练习。
	最后一个插曲是，您知道，Sam 和我在 JMP Discovery 会议和/或在其他时间发表过其他材料
	...或者为 JMP 撰写白皮书，您知道也许您可能想思考我们在制造它时所考虑的一切，因为我们发现
	与理解电信中的客户数据相比，对制造数据进行建模需要......有点独特，我们很多人在上学时都会学习电信中的客户数据。 感谢您的关注并祝您好运
	并进一步分析。

爆发预测建模质量和可靠性